Spark Streaming源码解读之State管理之UpdataStateByKey和MapWithState解密

转自:http://www.cnblogs.com/yinpin2011/p/5539708.html

本期内容 :

• UpdateStateByKey解密
• MapWithState解密

　　

　　Spark Streaming是实现State状态管理因素：

　　01、 Spark Streaming是按照整个BachDuration划分Job的，每个BachDuration都会产生一个Job，为了符合业务操作的需求，

　　　　需要计算过去一个小时或者一周的数据，但是由于数据量大于BachDuration，此时不可避免的需要进行状态维护

　　02、 Spark 的状态管理其实有很多函数，比较典型的有类似的UpdateStateByKey、MapWithState方法来完成核心的步骤

　　

详细的看原址:http://www.cnblogs.com/yinpin2011/p/5539708.html