![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
sparkStreaming
jxx4903049
这个作者很懒,什么都没留下…
展开
-
sparkstreaming多任务监控脚本
spark_main.sh #! /bin/bash#这个脚本是用来循环读取一个文件,这个文件就是发布的实时程序,以后再新添实时程序,放到spark_app_name.txt文件里就可以了 while read appName do sh /home/mes/report/script/spark/spark_crontab/spark_monitor.sh ${appName} echo ${appName} done < /home/mes/report...原创 2022-03-28 11:26:45 · 236 阅读 · 0 评论 -
sparkstreaming 中动态广播变量的使用
package test import java.sql.{Connection, DriverManager, ResultSet, Statement}import java.text.SimpleDateFormatimport java.util.{Date, Properties}import kafka._import org.apache.kafka.clients.consumer.ConsumerRecordimport org.apache.kafka.common.se.原创 2022-02-09 14:04:32 · 360 阅读 · 0 评论 -
SparkStreaming之foreachRDD
首先我们来对官网的描述了解一下。DStream中的foreachRDD是一个非常强大函数,它允许你把数据发送给外部系统。因为输出操作实际上是允许外部系统消费转换后的数据,它们触发的实际操作是DStream转换。所以要掌握它,对它要有深入了解。下面有一些常用的错误需要理解。经常写数据到外部系统需要创建一个连接的object(eg:根据TCP协议连接到远程的服务器,我们连接外部数据库需要自己的转载 2017-12-15 13:06:16 · 442 阅读 · 0 评论