- 博客(2)
- 收藏
- 关注
RSS订阅原创 Spark Streaming exactly once原理及编程示例
上一节内容介绍了spark介绍了at least once以及at most once的实现原理，这里再重复一次，毕竟这些概念非常重要。 任何涉及到消息队列的服务，都会出现3个层面的问题，一个是获取数据，一个是处理数据，一个是存储数据 . 因此在谈论at least once/exactly once也要分3个阶段（这一点storm和spark是不同的，因为storm是等待处理完数据发送ACK的方
2017-08-22 12:47:05
841
原创 Spark Streaming消息的传输与保证及编程示例
Spark streaming的文档其实已经比较详细的介绍了， 我简单的复述一次。 只要涉及到消息，就包含2个阶段， 获取数据以及存储处理后的数据。Spark低级API采用WAL + ZK的方式保证at least once（不能保证exactly once), 获取数据之后spark会先把数据写入WAL，并把拿到的offset存储到ZK里面。 处理完数据之后然后返回确认机制，表示消息已经处
2017-08-17 18:32:05
422
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人