spark streaming kafka1.4.1中的低阶api createDirectStream使用总结
由于目前每天需要从kafka中消费20亿条左右的消息,集群压力有点大,会导致job不同程度的异常退出。原来使用spark1.1.0版本中的createStream函数,但是在数据处理速度跟不上数据消费速度且job异常退出的情况下,可能造成大量的数据丢失。幸好,spark后续版本对这一情况有了很大的改进,1.2版本加入WAL特性,但是性能应该会受到一些影响(本人未测试),1.3版本刻意直接通过低阶A
原创
2015-08-06 09:59:38 ·
17436 阅读 ·
11 评论