![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark streaming
千里风雪
个人比较喜欢打台球, 篮球, 跑步, 平时没事敲敲代码, 听听歌
展开
-
spark写入hdfs
spark streaming写入hdfs场景: 需要将数据写入hdfs,打包成一个gz包, 每5分钟执行一次spark任务。最终的结果如下:5分钟跑一次spark, 将数据写入hdfs, 会产生很多的小文件。spark代码val hadoopConf: Configuration = rdd.context.hadoopConfigurationhadoopConf.set("ma...原创 2020-03-06 13:57:07 · 11098 阅读 · 1 评论 -
spark streaming DataFrame and SQL Operations
spark streaming使用DataFrames和SQL操作。使用StreamingContext正在使用的SparkContext创建SparkSession。这样做,以便可以在executed at the driver故障时重新启动。这是通过创建一个延迟实例化的SparkSession单例实例来完成的。这在以下示例中显示。它修改了早期的单词计数示例,以使用DataFrames...原创 2019-06-19 11:24:03 · 363 阅读 · 1 评论 -
spark streaming demo (java 1.8)
spark streaming demo 使用java 1.8从kafka获取数据, 写入redis的一个简单demo发送给kafka的数据包:{'type': 'Data', 'values': [{'compID': '3333', 'name': '冷却油压力', 'serial_num': '1', 'time': '2019-06-18 16:49:51', 'gat...原创 2019-06-18 16:55:40 · 1031 阅读 · 0 评论