版本spark2.4.0-cdh6.1.1
继10.2 spark structured streaming执行wordcount
打包后放在集群交给yarn运行
展示
输入端
输出端linux节点上
支持写入
idea上设置 batch的时间设置 1 second /1 milliseconds
出现了 TimeExecutor: Current batch is falling behind. The trigger interval is 1000 milliseconds, but spent 45314 milliseconds
延迟时间与机器性能有关
数据写入到mysql,hdfs