How to beat the CAP theorem--笔记

How to beat the CAP theorem 是Storm 的作者nathanmarz.在2011年一篇博文。中文翻译也有)

尽管在我读到时,已经过了3年。这边文章仍然给我很大感触。

1、CAP原则,分区容错、一致性、可用性。往往由于关系型数据库的原因,保证一致性和可用性,而变得非常复杂。这个时候将数据处理成immutable(排除人为错误,在某个时刻产生的数据,在那个时刻肯定是正确的)确实是个非常巧妙的想法。这种immutable数据去除了update,delete操作,只存在create,query两种操作,非常巧妙的避免了复杂性。文中提到的ElephantDB数据库实现也非常有参考价值。

2、文中提到了处理这种immutable数据的方式,将hadoop批处理和storm实时流计算结合:

        -hadoop计算过去已存在的不可变数据,所以不存在复杂性问题,完美解决CAP问题。

        -storm执行最近的数据,这里还是会有一致性和可用性问题。尽管数据会出错,就如文中作者遇到了,但是是可恢复的。  因为hadoop产生的批数据会对storm产生的结果进行修正,保证最终结果是对的。

读完 的思考:storm如何保证一致性和可用性。以及如何避免人为造成的错误?


  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值