es测试+删除文件测试

 

8台每台16G内存 2个分片，字段类型keyword

1、bulk curl @text.json插入

新建索引，刚开始速度快，到最后面速度会越来越慢

最大插入速度大约4万每秒

2、es批量更新updatebyquery

单个目录200万个文件，listfile时，其中一个核心cpu到70%，平均在30%,扫描完成，内存占18%

单表总量300万，批量一次更新5万条，耗时接近10秒

f删除100万个小文件，耗时接近40分钟

小文件删除，1秒大约能删掉1500个

3、filter测试

单表1亿条记录，占用磁盘6.6g，双片，索引速度最大在1.5万

bool filter match 下，单个条件速度快，当有多个条件时会变慢很多

filter使用时需要测试，建议只用单个条件作为filter