提高ElasticSearch插入数据性能

最新推荐文章于 2024-08-15 14:15:34 发布

匠心零度

最新推荐文章于 2024-08-15 14:15:34 发布

阅读量1.6w

点赞数 2

分类专栏：搜索类

本文链接：https://blog.csdn.net/lirenzuo/article/details/68063656

版权

本文探讨了在大量插入数据时如何优化ElasticSearch的性能。通过暂时取消复制分片、调整shard刷新间隔和增大节点线程池参数，能显著加快数据插入速度。建议在数据导入完成后恢复复制分片，以保持数据冗余和高可用性。

摘要由CSDN通过智能技术生成

正常的真实环境es集群都是有副本数的，如果在大量插入数据的情况下面，副本拷贝其实会使插入速度变慢的，根据业务情况，可以考虑取消replias（复制分片），等数据插入结束以后再进行更新操作，设置复制分片。此方法可使插入速度提高一倍，shard刷新间隔，以及多线程和es批插入都可以提高效率等等。

1、设置复制分片数量

curl -XPUT http://ip:9200/index/_settings -d '{ 
    "settings" : { 
        "number_of_replicas" : 0 
    } 
}' 

//数据插入结束，更新复制分片为1
curl -XPUT http://ip:9200/index/_settings -d '{ 
    "settings" : { 
        "number_of_replicas" : 1 
    } 
}'

2、