SparkStreaming
jungegev587
这个作者很懒,什么都没留下…
展开
-
SparkStreaming入门-1
SparkStreaming优点: 1、提供了丰富的API,企业中能快速实现各种复杂的业务逻辑。 2、流入Spark Streaming的数据流通过和机器学习算法结合,完成机器模拟和图计算。 3、Spark Streaming基于Spark优秀的血统。 SparkStreaming能不能像Storm一样,一条一条处理数据? Storm处理数据的方式是以条为单转载 2017-07-16 13:52:48 · 414 阅读 · 0 评论 -
SparkStreaming之scala开发方式f-2
Scala方式开发 第一步,接收数据源: 第二步,flatMap操作: 第三步,map操作: 第四步,reduce操作: 第五步,print()等操作: 第六步:awaitTermination操作转载 2017-07-16 13:55:04 · 393 阅读 · 0 评论 -
SparkStreaming之 StreamingContext、DStream、Receiver深度剖析-3
(1)对StreamingContext功能及源码剖析; (2)对DStream功能及源码剖析; (3)第三部分对Receiver功能及源码剖析; (4)将StreamingContext、DStream、Receiver结合起来分析其流程。 一、StreamingContext功能及源码剖析: 1、 通过StreamingContext对象jssc,创建应用程序主入口,并连转载 2017-07-16 14:02:11 · 321 阅读 · 0 评论