7. Cassandra Write
先给出一个图:
如图所示了Cassandra write data的全过程:先写日志文件Commitlog,然后数据才会写到ColumnFamily在内存中对应的Memtable,内存中Memtable达到一定条件后批量Flush到磁盘,存储为SSTable。
Commitlog
(1) 文件存放位置是在Cassandra配置文件中指定的,此文件的作用是确保异常情况下,根据持久化的SSTable和 Commitlog重构内存中Memtable内容;
(2) 当一个Commitlog文件写满后会自动新建一个Commitlog文件;
(3) 当旧的Commitlog文件文件不在需要时,这个Commitlog文件会自动清除;
Memtable
(1) 是一种memory结构,每个ColumnFamily对应一个Memtable;
(2)Memtable里内容按照key排序,这样使随机IO写编程顺序IO写,降低了大量的写操作对存储系统的压力;
(3)内存中Memtable达到一定条件后批量Flush到磁盘,存储为SSTable,下一个Memtable又需要刷新时刷新到一个新的SSTable,即每次刷新产生一个新的SSTable;
SSTable
(1)文件存放位置同样是在Cassandra配置文件中指定的;
(2) 按照key排序后(在Memtable中完成)存储key/value字符串;
(3)SSTable一旦写入就不能改变,只能读取;另为避免大量SSTable带来性能影响,定期将SSTable合并成一个SSTable,称之为Compaction,由于每个SSTable中key都排好了顺序,因此只需做一次合并顺序就可以完成任务;
(4)SSTable的data目录,如下图
如图Users为ColumnFamily名字,1为序号,Users-1-Data.db是SSTable的数据文件,存储排好顺序的key/value字符串;Users-1-Filter.db为Bloom Filter算法生成的映射文件(Bloom Filter算法:快速定位待查询key所属的SSTable),Users-1-Index.db为索引文件,保存key在数据文件中的偏移量;
8. Cassandra Read
同样,先给出一个图;
读取数据时,需要合并读取ColumnFamily对应的所有SSTable和Memtable;
Bf确定待查找key所在的SSTable;
Idx确定key在SSTable中的偏移量。