参考:http://my.oschina.net/jsycwangwei/blog/420257
1 Cassandra 通过4个技术来维护数据的最终一致性,分别为逆熵(Anti-Entropy),读修复(Read Repair),提示移交(Hinted Handoff)和分布式删除。
逆熵:节点间定期检查数据一致性,使用markle tree,markle tree是hash树,叶节点是key的hash值,父节点是所有子节点值的hash值,只要root节点相同,则说明所有叶子节点相同
读修复:客户端读取某条数据时会返回数据并后台同步各节点数据保证一致,根据一致性要求 ONE(先返回一条再同步,可能不一致) QUORUM(读取超过一般副本后再返回) ALL(全部同步后再返回 最准确)
提示移交: keyA按照规则应该写入node1,然后复制到node2 node3,加入node1宕机,会封装一个带有hint的头部写入node4 然后复制给node2 node3,node1上线后会自动写入node1
分布式删除:删除时只对目标数据打一个删除标记的hint,定期对标记此hint的对象垃圾回收
2 cassandra每个节点分配多个token(从生产查询到 nodetool -host ip ring),通过一致性hash把数据分配到不同的token上
3 存储机制:借鉴bigtalbe设计,hbase和cassandra都是先记录日志 commit log,然后写入列族对应的内存Memtable,数据量达到块大小时写入SStable&#x
1 Cassandra 通过4个技术来维护数据的最终一致性,分别为逆熵(Anti-Entropy),读修复(Read Repair),提示移交(Hinted Handoff)和分布式删除。
逆熵:节点间定期检查数据一致性,使用markle tree,markle tree是hash树,叶节点是key的hash值,父节点是所有子节点值的hash值,只要root节点相同,则说明所有叶子节点相同
读修复:客户端读取某条数据时会返回数据并后台同步各节点数据保证一致,根据一致性要求 ONE(先返回一条再同步,可能不一致) QUORUM(读取超过一般副本后再返回) ALL(全部同步后再返回 最准确)
提示移交: keyA按照规则应该写入node1,然后复制到node2 node3,加入node1宕机,会封装一个带有hint的头部写入node4 然后复制给node2 node3,node1上线后会自动写入node1
分布式删除:删除时只对目标数据打一个删除标记的hint,定期对标记此hint的对象垃圾回收
2 cassandra每个节点分配多个token(从生产查询到 nodetool -host ip ring),通过一致性hash把数据分配到不同的token上
3 存储机制:借鉴bigtalbe设计,hbase和cassandra都是先记录日志 commit log,然后写入列族对应的内存Memtable,数据量达到块大小时写入SStable&#x