spark streaming
千里风雪
个人比较喜欢打台球, 篮球, 跑步, 平时没事敲敲代码, 听听歌
展开
-
spark写入hdfs
spark streaming写入hdfs 场景: 需要将数据写入hdfs,打包成一个gz包, 每5分钟执行一次spark任务。 最终的结果如下: 5分钟跑一次spark, 将数据写入hdfs, 会产生很多的小文件。 spark代码 val hadoopConf: Configuration = rdd.context.hadoopConfiguration hadoopConf.set("ma...原创 2020-03-06 13:57:07 · 11099 阅读 · 1 评论 -
spark streaming DataFrame and SQL Operations
spark streaming使用DataFrames和SQL操作。 使用StreamingContext正在使用的SparkContext创建SparkSession。这样做,以便可以在executed at the driver故障时重新启动。 这是通过创建一个延迟实例化的SparkSession单例实例来完成的。这在以下示例中显示。它修改了早期的单词计数示例,以使用DataFrames...原创 2019-06-19 11:24:03 · 363 阅读 · 1 评论 -
spark streaming demo (java 1.8)
spark streaming demo 使用java 1.8 从kafka获取数据, 写入redis的一个简单demo 发送给kafka的数据包: {'type': 'Data', 'values': [{'compID': '3333', 'name': '冷却油压力', 'serial_num': '1', 'time': '2019-06-18 16:49:51', 'gat...原创 2019-06-18 16:55:40 · 1031 阅读 · 0 评论