qstore 的 chunk重构小记

解决老chunk的若干问题，包括：

1. failover问题。以前支持两个进程的时候，如果其中一个挂掉，则另外一个要接管所有的数据请求，当失败进程重启的时候，又要把所有数据发回去。
2. 扫描过期文件问题。以前处理过期数据的方法是：每隔一定时间，启动一个扫描脚本，把一个进程上的所有记录扫面一遍，删除过期的。
3. 扩展时的负载均衡问题。 以前只能是成倍扩展，两台机器添加一台机器后，只有一台机器的压力能够被缓解，如果已经是4个进程 ，则要加到8个才可以。

相比以前的关键改动在于： 参与一致性哈希的对象变了，以前的时候是node，现在变成了node里面的chunk文件。带来的一些列变化包括:

1. master不光要维持node信息，同时也要维持所有的chunk文件信息。
2. 以前的insert接口只要提供三个参数：node_id, key, value，现在要提供的包括：node_id, chunk_id, key, value。
3. 负载在chunk文件这个范围内进行分配，不会在node这个层面上分配。
4. chunk文件到达一定的大小程度的时候，要分裂，在分裂的时候要把一个chunk文件的内容均摊到两个chunk文件，这个时候来做过期检查，删除过期的记录。
5. 每个node维持一个fd池，用来保证fd的使用不会拖慢系统。
6. 当node的进程挂掉的时候，别的node来接管数据，当进程重新启动完毕的时候，会把相应的chunk文件从别的node上拷贝回来。
7. node的数据不时replication，当node挂掉时，损失的数据就不要了。

 

 

转载于:https://www.cnblogs.com/welkinwalker/archive/2011/07/25/2116106.html