Elasticsearch写入和读取的底层原理

Elasticsearch是怎样写入的？

1、首先我们要知道Elasticsearch是分布式的，写入的时候需要通过某一台协调主机去哈希一下，看这条数据要写进哪个分片节点，然后再将数据传入具体的分片节点。如图：

2、当分片节点具体所在主机接收到写入数据请求时，会先将数据写进内存buffer缓冲区和translog日志文件中。

3、 每隔1秒，内存buffer中的数据会写入主机操作系统的缓存中并且产生一个segment file文件，到了这一步，就可以将索引数据查询出来了。所以这里有一个概念，es数据是准实时的，因为只有一秒的延迟。这个过程叫做refresh

4、数据一直存在缓存中肯定是不行的吧，那么每隔5秒钟，会将操作系统缓存中的数据持久化到磁盘。这个过程叫做fsync

5、由于磁盘中的日志文件是每隔5秒钟就写入一次的，那么肯定会越来越大，所以每隔30分钟会强行，将translog日志文件中的数据刷到磁盘segment file中，然后清空日志文件。这个过程叫做flush

6、由于buffer每refresh的时候都会生成一个segment file文件，那么肯定会越来越多，所以会定义遍历segment file文件，把那些相似的多个文件合并为一个，将新的segment file文件写入磁盘，并且会写一个commit point，标识所有新的segment file文件，并打开文件供搜索操作。同时删除旧的segment file文件。
而且遍历文件的时候会进行同时读取 .del 文件，将标记删除的数据进行deleted物理删除
这个过程叫做merge

如果总结一下写入的过程，那么只需要记住4个过程
refresh
es接收数据请求时先存入内存中，默认每隔一秒会从内存buffer中将数据写入系统缓存filesystem cache，这个过程叫做refresh；

fsync
translog会每隔5秒或者在一个变更请求完成之后执行一次fsync操作，将系统缓存中数据刷入磁盘，并且日志文件translog也从缓存刷入磁盘，这个操作比较耗时，如果对数据一致性要求不是跟高时建议将索引改为异步，如果节点宕机时会有5秒数据丢失;

flush
es默认每隔30分钟会将translog中的数据刷入磁盘同时清空translog日志文件，这个过程叫做flush。

merge
合并segment file文件，并且将标记已删除的数据进行物理删除

丢失数据怎么办？

由于写入数据时候fsync过程需要的时间是5秒钟才会将数据写入到磁盘，如果这个过程中机器宕机了，那么就会丢失5秒钟的数据。
es在写入的时候可以设置为不止写入buffer、同时还写入磁盘上的translog，这样的话宕机就不怕丢了。但是肯定会损失一定的性能，写入的吞吐量会下降一个数量级。

Elasticsearch是怎样删除数据的？

es接收到删除请求的时候并不会将数据like删除，而是将需要删除数据做一个标记，存入 .del 文件中，那么搜索数据时发现数据在.del文件中，就知道被删除了。

Elasticsearch是怎样查询数据的？

1、当ES写入数据的时候根据给你分配一个全局唯一的doc id，并且根据这个doc id进行hash路由到指定的primary shard分片上去。也可以手动指定doc id，比如订单号，手机号之类的。
所以查询的时候就可以通过doc id来查询，get某一条数据的时候就会根据doc id来hash路由定位到某个shard分片
get的时候选取的某个节点称为协调主机，由它来进行doc id的hash路由。
如图：

Elasticsearch是怎样搜索数据的？

比如现在存的数据有：青椒牛肉、红烧牛肉、鸡蛋西红柿，三条数据。现在想要搜索关键词 “牛肉”。

1. 首先选取一个主机，将关键字“牛肉”传过去，这个指定主机会被称为“协调主机”
2. 协调主机会将该关键字“牛肉”，分发给所有分片，可能是primanry shard分片节点，也可能是replica shard分片节点。
3. 接收到关键字的shard分片，会将匹配数据的doc id返回至“协调主机”
4. “协调主机”再根据这些doc id到对应主机查询出相应数据
5. 拿到完整的docment数据后，筛选、返回至客户端

如图：