Elasticsearch数据读写过程

1. 写入数据原理。

首选Elasticsearch并不是完全实时的，即写入数据后不是立马就会被读到的。默认的时间间隔是1秒钟。

插入数据的时候，数据首先会被写入到buffer缓冲区，此时的数据是不能被搜索到的（但是可以通过get id的方式获取），同时，会生成一个translog文件，数据也会写到这里面来。

es在写数据的时候，数据是先进入缓存中的，并不是马上写入磁盘，所以如果此时断电，缓存数据会丢失，借助translog，可以进行数据恢复。

当缓冲区的数据达到一定量的时候（默认是分配的内存的10%）或者到达时间间隔（默认 1 s），数据就会被写入到  index 下面的segment中，数据写入这里面的时候，就已经建立好了倒排索引，同时清空缓冲区的数据。数据每隔1s就会被刷新进segment文件中，同时数据会进入到os cache 中，这时候，数据就可以被搜索到了，这个过程也是 refresh 过程。

不断循环这个过程，数据就会不断从缓存写入segment文件，但是translog文件会不断增大。

当translog文件不断增大，就会触发commit操作，缓冲区的数据会全部写入到一个新的segment  file 文件（这个过程也称为flush），然后进入os cache中，再进入到磁盘中持久化，并且会记录一个偏移量，会被进入到.ckp文件中。

translog的数据都写完之后会被删除掉。

 

2. 数据读取、更新原理

删除数据，会生成一个 .del 标记这个document，然后就不能被搜索到了

更新也是一样，先标记，然后生成一个新的文件。

 

es集群并不是像Hadoop一样，分工十分明确的master、slave，虽然es也有master、slave，但是他们都可以用来接收客户端的请求。

客户端的请求到任意节点后，这个节点会担任协调节点的角色，在es集群内部进行路由。

数据查询也类似，请求在协调节点转发，在各个节点获取数据后，在协调节点上进行汇总排序，最后返回客户端。