第6篇: ElasticSearch写操作—原理及近实时性分析(完整版)

背景:目前国内有大量的公司都在使用 Elasticsearch,包括阿里、京东、滴滴、今日头条、小米、vivo等诸多知名公司。除了搜索功能之外,Elasticsearch还结合Kibana、Logstash、Elastic Stack还被广泛运用在大数据近实时分析领域,包括日志分析、指标监控等多个领域。

目录

1、 ElasticSearch单条及批量写操作(Java版)

1.1 单条新增index

1.2 批量新增bulk

2、ElasticSearch写操作原理

2.1 写原理流程图

2.2 写操作核心步骤

2.2.1 客户端->主节点

2.2.2 主分片->副本分片

2.2.3 主分片->内存缓冲区

2.2.4 主分片->TransLog

2.2.5 Segment->Commit Point

3、写近实时性分析

3.1 性能影响关键问题

1)单条插入性能较差

2)主副分片之间数据同步IO问题

3)  索引刷新时间

3.2 写性能问题解决方案

1)单条改为批量

2)引入多线性机制

3)索引刷新时间和副本个数调整

4)修改事务日志translog参数


1、 ElasticSearch单条及批量写操作(Java版)

为了更好地说明Elasticsearch写原理,我们先来看下客户端写操作代码及发起的请求信息。具体操作细节可参考前面的文章 Elasticsearch 7.X增删改查实战

1.1 单条新增index

/**
* 添加文档-单条
* @param dto
* @param indexName
* @return
* @throws IOException
*/
public static Boolean addDocument(Object dto, String indexName) throws IOException {
    BaseDto baseDto = (BaseDto) dto;
    //创建请求
    IndexRequest request = new IndexRequest(indexName);
    //规则 put
    request.id(baseDto.getId());
    request.timeout(TimeValue.timeValueSeconds(1));
    //将数据放入请求
    Map<String, Object> jsonMap = JSON.parseObject(toJson(dto), Map.class);
    request.source(jsonMap);
    //客户端发送请求
    IndexResponse response = restHighLevelClient.index(request, RequestOptions.DEFAULT);
    //响应状态 CREATED
    return response.status().getStatus() == RestStatus.CREATED.getStatus();
}

1.2 批量新增bulk

/**
* 添加文档-批量
*
* @param list
* @param indexName
* @return
* @throws IOException
*/
public static Boolean batchAddDocument(List<Object> list, String indexName) throws IOException {
    //创建请求
    BulkRequest bulkRequest = new BulkRequest();
    for(Object dto: list) {
        BaseDto baseDto = (BaseDto) dto;
        IndexRequest indexRequest = new IndexRequest(indexName);
        //规则 put
        indexRequest.id(baseDto.getId());
        indexRequest.timeout(TimeValue.timeValueSeconds(1));
        //将数据放入请求参数
        Map<String, Object> jsonMap = JSON.parseObject(toJson(dto), Map.class);
        indexRequest.source(jsonMap);
        //客户端发送请求
        bulkRequest.add(indexRequest);
    }
    BulkResponse response = restHighLevelClient.bulk(bulkRequest, RequestOptions.DEFAULT); //批量新增
    //响应状态 CREATED
    return response.status().getStatus() == RestStatus.CREATED.getStatus();
}

2、ElasticSearch写操作原理

如果对ES整体架构不太了解的朋友,可以先下前面的文章能有助于理解本篇内容。Elasticsearch架构及模块功能介绍

2.1 写原理流程图

写流程主要从应用层、协议层、发现层、数据处理层、核心架构层以及数据存储层这6层来梳理。

 

2.2 写操作核心步骤

2.2.1 客户端->主节点

1)应用端向主节点(node_0)发起写操作(index/bulk)请求,参数为文档内容数据。

2)主节点(node_0)通过自身的调度模块,对传入的文档ID进行hash处理后,再与主分片数进行取余数,余数范围为:0~number_of_shards-1。

3)主节点(node_0)计算得到的余数(分片号0)就是该条文档数据对应存储的主分片(shard_0)中。

4)等主分片shard_0存储文档成功数据后,会将主分片数据通过磁盘或者网络(IO)复制的其他副本分片中(R0)。

2.2.2 主分片->副本分片

1)主分片存储文档成功后,才会将数据复制到对应各副本分片。

2)如果主分片存储失败,则会认为整个集群存储失败;如果是部分副分片失败,则会认为整体处理成功,通过后续补偿机制来恢复副本数据。

2.2.3 主分片->内存缓冲区

数据写入主分片后,写入内存缓存区的目的属于一种存储优性能化方式。通过引入使用 in-memory buffer 来暂存每个 doc 对应的 inverted index的数据,从而达到批量堆积的效果,进一步避免频繁的磁盘 I/O。当这些文档数据累积到一定量后,就可以从 in-memory buffer 刷到 disk 了。

2.2.4 主分片->TransLog

Elasticsearch通过临时写入写操作来保证数据安全。因为lucene索引过程中,数据会首先据缓存在内存中直到达到一个量(文档数或是占用空间大小)才会写入到磁盘。这就会带来一个风险,如果在写入磁盘前系统崩溃,那么这些缓存数据就会丢失。因此,Elasticsearch通过translog解决了这个问题,每次写操作都会写入一个临时文件translog中,这样如果系统需要恢复数据可以从translog中读取。另外,当ES出现宕机重启后,可通过translog磁盘文件进行数据恢复。

2.2.5 Segment->Commit Point

 我们知道,Segment是Shard的最小存储组成部分,每个Shard由若干Segment和和对应的 commit point(提交点文件)构成。而用Commit Point来记录所有Segment的元数,保存着旧的Segment文件的信息。

3、写近实时性分析

3.1 性能影响关键问题

1)单条插入性能较差

毫无疑问,单条插入会受磁盘和网络IO的影响。如果在数据量大的情况下,会频繁发送请求,这对服务端而言,处理能力必然会受影响。

2)主副分片之间数据同步IO问题

如果我们设置了副本,数据会先写入主分片,然后主分片再同步到副本分片,那同步操作就会加重磁盘 IO,间接会影响写入操作的性能。

3)  索引刷新时间

默认情况下索引的refresh_interval为1秒,这意味着数据写1秒后就可以被搜索到,每次索引的refresh会产生一个新的Lucene段,这会导致频繁的segment merge行为,如果不需要这么高的搜索实时性,应该降低索引refresh周期。

3.2 写性能问题解决方案

1)单条改为批量

具体优势就不必多说,在这里重点需要说一下,在使用bulk时,需要根据服务性能做批次卡控,并非是无限制批次就是最优的,反而可能会影响性能。并非bulk每个批次值越大越好,而是根据写入数据量具体来定的,因为越大的bulk会导致内存压力过大。建议一个请求最好不要发送超过15MB的数据量。

2)引入多线性机制

我们知道,单线程发送bulk请求是无法最大化Elasticsearch集群写入的吞吐量的。如果要充分利用集群所有资源,就需使用多线程并发将数据bulk写入集群中。多线程并发写入同时可以减少每次底层磁盘fsync的次数和开销。

3)索引刷新时间和副本个数调整

索引刷新时间默认“index.refresh_interval”为“1s”, 即每秒都会强制生成1个新的segments文件,增大索引刷新时间,可以生成更大的segments文件,有效降低IO并减少segments merge的压力。

如果只是纯导入数据而非实时查询的业务场景,比如上传报表数据等,可以把refresh禁用(即设置index.refresh_interval为-1),并设置“index.number_of_replicas”为“0”,当然这样设置会有数据丢失风险。等到数据完成导入后,再把参数设置为合适的值。

{
    "number_of_replicas": 0,
    "refresh_interval": "120s"
}

4)修改事务日志translog参数

默认设置下,translog 的持久化策略是每个请求都flush,这样能保证写操作可靠性,但是对性能会有很严重的影响,可以通过调整 translog 持久化策略、周期性和一定大小的时候 flush,能大大提升导入性能。

{
"index": {
    "translog": {
          "flush_threshold_size": "1GB",
          "sync_interval": "120s",
          "durability": "async"
          }
     }
}

评论 95 您还未登录,请先 登录 后发表或查看评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
©️2022 CSDN 皮肤主题:大白 设计师:CSDN官方博客 返回首页

打赏作者

老王随聊

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值