Elasticsearch写入原理流程刨析

最新推荐文章于 2024-03-19 08:00:00 发布

置顶苗小刀

最新推荐文章于 2024-03-19 08:00:00 发布

阅读量226

点赞数 1

分类专栏： Elastic Stack 文章标签： java elasticsearch 分布式数据库

本文链接：https://blog.csdn.net/weixin_44487662/article/details/108773039

版权

5 篇文章 0 订阅

订阅专栏

临渊羡鱼不如退而结网，博客目的旨在记录与分享，如有错误，欢迎指出

写入内存缓冲区
写入文件缓存区
写入磁盘
以上三步涉及两个操作：refresh和flush
如图所示：

如上图所示，当客户端向es发起写入请求时，请求到达Coordinate nodes(协调节点),由协调节点确定将写入请求分发到索引的那个分片之中,到达指定分片之后开始写入，es会将数据先写入内存缓冲区(同时等待写入副本完毕)以及写入translog文件中。

在这里插入图片描述
如上图所示，一秒钟过后(默认)将内存缓冲区的数据写入段内(此时段在文件缓冲区)此阶段为refresh，这时数据变为可搜索状态，等待30分钟之后(默认)，将文件缓冲区中的段flush到磁盘，同时将translog删除。

至此，es写入流程完成。

由以上我们可以找寻出几个比较重要的点：

由上述refresh步骤时我们可得知，数据是先写入内存缓冲区，一秒钟才会被refresh到段内，当数据到达段内数据才变成可搜索状态，不能利用配置调整为实时，利用配置最快可见为百毫秒，如果想要数据立即可见，可以调用强制刷新请求
调整刷新时间命令

PUT
{
  "settings": {
    "refresh_interval": "5m"  //此时将刷新时间间隔设置为5分钟
  }
}

强制刷新请求

POST / my-index-000001 / _refresh

当写入内存缓冲区时，如果在不到refresh时间，系统断电或者宕机，此时内存缓冲区的数据全局丢失，当重新启动时，会利用translog来恢复数据，在写入内存缓冲区的同时写入了translog日志。

达到数据高可用是利用副本达到的，当搭建es集群时，可以给每个索引分片创建副本，默认情况下副本与分片不再同一机器上，当分片所在机器宕机时，副本会升为分片提供写入，如果分片所在的机器此时宕机恢复，则由原来的分片变为副本。

关注

专栏目录