该专栏为热销专栏榜 第33名
超级会员免费看
本文介绍了使用SparkStreaming进行数据清洗的四个关键操作：QueueStream、File Streams、socketTextStream和KafkaStreaming。详细讲解了如何初始化SparkConf，读取QueueStream、文件流、socket数据以及从Kafka中读取数据。每个部分都强调了相关知识和注意事项，如文件流不需要receiver，KafkaUtils在处理Kafka数据中的作用。
第1关：QueueStream
任务描述
本关任务：编写一个清洗QueueStream 数据的SparkStreaming程序。
相关知识
为了完成本关任务，你需要掌握：1. 如何使用SparkStreaming，2.如何使用 SparkStreaming读取QueueStream。
SparkStreaming 的开发步骤
初始化SparkConf并设置相关参数
SparkConf conf = new SparkConf().setAppName(appName).setMaster(master);
说明:
appName 是应用程序在集群UI上显示的名称。
package net.educoder;
import org.apache.spark.SparkConf;
import org.
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
