本文介绍了SparkStreaming的入门步骤，包括建立StreamingContext、创建InputDStream和启动。讲解了重要概念，如批处理时间、DStream及其操作。详细阐述了DStream的转换、窗口变换和输出操作，并讨论了持久化、检查点策略和性能调优方法。最后，提到了容错处理机制，特别是驱动节点故障时如何恢复。
SparkStreaming整体架构图：
一 SparkStreaming快速入门：
1，建立StreamingContext：（scc=new StreamingContext(mastername,appname,batchDuration，[sparkhome],[jars])）
2，创建InputDStream：（kafkaStream，flumeStream,networkStream,fileStream)
3，操作DStream
4，启动SparkSteaming
二 重要概念：
1， StreamingContext是SparkStreaming程序的入口，在StreamingContext内部包含了SparkContext，可通过接口调用；
最低0.47元/天 解锁文章
扫一扫
3039
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
