ES调研笔记

写入过程：写入index buffer->每1秒钟refresh到os cache->每30分钟flush os cache中的数据到segment文件

每次写入操作：都会写入translog

每1秒钟将index buffer写入一个新的os cache中的segment一次，清空buffer这个操作叫refresh

可以手动refresh将内存中的数据刷到os cache

而flush是将os cache中的数据写入文件。

每次写操作都会记入translog文件，而translog文件是不断变大的，当大到一定阈值时或每30分钟，会commit一次，写一次commit point文件，并将os cache中缓存中的数据冲到磁盘文件中，并清空translog文件。

每次flush：

1、写commit point

2、将os cache数据强冲到磁盘

3、清空translog日志文件

 

Es重启会自动读取translog日志文件自动恢复到内存中

 

当segment file多到一定程度后

Es会触发merge操作，将多个segment file合并到一个文件中

 

删除：将某条数据的标示写入到.del文件中，标示已被删除

 

ES搜索过程

1、协调节点发送搜索指令给每个有shard的节点

2、每个节点返回查到的doc id和排序字段

3、协调节点再排序，再拿doc ids到各个shard中读取数据

 

一般用ES+Hbase方案或ES+MySQL方案

Es中写入需要用来查询的字段，Hbase中存入所有字段

 

es中的数据量建议小于等于filesystem cache的容量

filesystem cache调整为32G，则建议es中的数据只保存32g

 

方案：

1、减少数据量，只写入需要用来检索的字段

2、es中的数据量小于等于filesystem cache的容量

 

做好数据预热过程