ElasticSearch数据实时性原理分析与持久化

问题复现

现在有这么一种业务场景，需要将海量的数据通过Hive进行数据清洗并统计，最后落库到ES中，因为需要支持大数据量的分词，模糊搜索，所以考虑用ES而不直接放到Mysql中，前端需要直接对数据进行交互，当通过后端请求向ES中新增一条数据时，页面数据刷新不会立即查询出新增的数据，即ES中的数据会存在延迟刷新

原因分析

这里先讲下ES中的一些基础概念，Shard（片）、Segment（段）、 In-memory buffer（内存索引缓存区）。

ES中的文档，是被组织在一个个片中的，一个索引可以分成多个分片，这个分片的数量在创建索引时，就要确定好。而每个片，是由多个Segment组成的，也就是说，ES存储数据的基本物理单元是Segment。

新增或修改一个文档的操作是这样的：

客户端对文档的修改，会放到内存索引缓存区中，在内存索引缓存区中会将这些修改组织成一个Segment，然后将这个Segment持久化到磁盘中。一旦Segment持久化成功，该文档的修改对客户端才可见。

如图：In-memory buffer就是内存索引缓存区，这里的内容将会组织成一个个Segment，此时它还不可搜索。

矛盾来了，Segment持久化就要写磁盘，而写磁盘是非常耗性能的。

因此，ES引入一个FileSystem Cache（文件系统缓存）的概念。

In-memory buffer 中的内容，先不持久化到磁盘，而是先写入FileSystem Cache，一旦写入FileSystem Cache ，则这些内容也可以索引到了。当FileSystem Cache 达到一定