![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
walt_xu
这个作者很懒,什么都没留下…
展开
-
从spark streaming checkpoint文件中还原数据
checkpoint的最大的弊端在于,一旦你的流式程序代码或配置改变了,或者更新迭代新功能了,这个时候,你先停旧的sparkstreaming程序,然后新的程序打包编译后执行运行,会发现两种情况: (1)启动报错,反序列化异常 (2)启动正常,但是运行的代码仍然是上一次的程序的代码。 如果直接把上次的checkpoint删除了,可以启动的新的程序,但是如果使用的是有状态计算(updateSt原创 2017-06-27 10:20:17 · 2506 阅读 · 3 评论 -
spark streaming读取kafka示例
spark streaming读取kafka示例,其中 Spark Streaming优雅的关闭策略优化部分参考: http://qindongliang.iteye.com/blog/2404100 如何管理Spark Streaming消费Kafka的偏移量部分参考: http://qindongliang.iteye.com/blog/2401194 Spark向kafka原创 2018-02-01 08:34:32 · 1756 阅读 · 0 评论