Andychau2015的博客

原创 120W数据再两文件夹内对比

情景：两个ES索引在导入时候出现数据偏差，需要找差集。思路由于索引是共用，并且是动态，无法对比数据。索引字段超多，先分页将数据保留本地再分析。只保留ID，格式为：List 并且以升序排列，不排序也可以。由于LIST一次运行超过100W数据会超慢，顾分解为5W一个LIST去做对比，结果保留到RESULT LIST内。最后输出。ES --> search data by id order by asc --> save local data 5w/file --> file c