探究分片副本数量等条件对ElasticSearch批量数据插入的影响

目录

测试内容

两套环境的配置

对于简单文档的测试

对于嵌套文档的测试

TransportClient客户端

多种测试方案综合比较

测试结论

关于分片和副本

---

做出该测试的是公司的一位大佬，所以其实是转载

测试内容

分别在不同的环境下，测试不同的文档结构，分片和副本数量对于插入速率的影响。

第二次指的是删除索引后重建索引的测试结果。

两套环境的配置

1. A机8核20G内存4T机械硬盘，B机赛扬2核6G内存500G机械硬盘，C机笔记本12核16G内存1T机械硬盘；

2. 笔记本3个虚拟机2核2G内存+SSD磁盘。

对于简单文档的测试

一. 在机械硬盘上

• 1个分片0个副本，400条平均用时829毫秒，4千万预计用时23小时。
• 1个分片2个副本，400条平均用时2067毫秒，4千万预计用时57小时。
• 2个分片0个副本，400条平均用时852毫秒，4千万预计用时23.6小时。
• 3个分片0个副本，400条平均用时756毫秒，4千万预计用时21小时。(40000个文档基本大小548M)
• 3个分片0个副本，400条平均用时716毫秒，4千万预计用时21小时。(第二次)
• 3个分片1个副本，400条平均用时1196毫秒，4千万预计用时33小时。
• 4个分片0个副本，400条平均用时972毫秒，4千万预计用时27小时。
• 4个分片0个副本，400条平均用时701毫秒，4千万预计用时19.47小时。(第二次)
• 5个分片0个副本，400条平均用时707毫秒，4千万预计用时19.63小时。
• 5个分片0个副本，400条平均用时618毫秒，4千万预计用时17.16小时。(第二次)
• 5个分片0个副本，400条平均用时849毫秒，4千万预计用时19.63小时。(关闭自动刷新)
• 7个分片0个副本，400条平均用时583毫秒，4千万预计用时16.19小时。
• 5个分片0个副本，800条平均用时1715毫秒，4千万预计用时23.81小时。
• 5个分片0个副本，200条平均用时549毫秒，4千万预计用时30.5小时。