How to read/write k-v from 1 PB file?
这么大的文件 直接放在一个服务器中肯定要死
那么怎么样嘛?肯定需要sharding,但是sharding的话 是vertical sharding 还是horizontal sharding呢?
我们肯定不能按列来分 只能按照行来分
然后放在不同的机器中-采用master/slave模式
但是如果这样分的话 我们怎么样从多台服务器中读取bigtable呢?
那么如何从多台服务器中写入呢?
然后还有每台机器数据越写越多存不下怎么办?
如果读和写同时发生怎么办呢?(即race condition)
那么我们就要在每台服务器上都枷锁 使其组成分布式锁,那些是分布式锁工具呢?(Chubby, Zookeeper)