![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
SparkStreaming
文章平均质量分 88
lhui798
这个作者很懒,什么都没留下…
展开
-
第82课:Spark Streaming第一课:案例动手实战并在电光石火间理解其工作原理
本期内容: 1、Spark Streaming 动手实战演示 2、闪电般理解Spark Streaming原理 案例动手实战并在电光石火间理解其工作原理 流(Streaming),在大数据时代为数据流处理,就像水流一样,是数据流;既然是数据流处理,就会想到数据的流入、数据的加工、数据的流出。 日常工作、生活中数据来源很多不同的地方。例如:工业时代的汽车制造、监控设备、工业设备原创 2016-04-18 11:40:30 · 866 阅读 · 0 评论 -
第93课:Spark Streaming updateStateByKey案例实战和内幕源码解密
本节课程主要分二个部分: 一、Spark Streaming updateStateByKey案例实战 二、Spark Streaming updateStateByKey源码解密 第一部分: updateStateByKey的主要功能是随着时间的流逝,在Spark Streaming中可以为每一个可以通过CheckPoint来维护一份state状态,通过更新函数对该key的状原创 2016-04-30 12:03:25 · 9910 阅读 · 0 评论 -
第88课:SparkStreaming从Flume Poll数据案例实战和内部源码解密
本期内容: 1、Spark Streaming on Polling from Flume实战 2、Spark Streaming on Polling from Flume源码 前置问题: 1、提问:当Flume push数据给SparkStreaming时可能会出现什么问题? 回答:可能会出现SparkStreaming来不及消费数据的情况,所以现在采用poll的原创 2016-04-30 14:25:01 · 8276 阅读 · 0 评论