solr大批量数据导出

最新推荐文章于 2024-06-27 16:42:07 发布

jshazhang

最新推荐文章于 2024-06-27 16:42:07 发布

阅读量5.8k

点赞数

分类专栏： solr 文章标签： solr导出

本文链接：https://blog.csdn.net/jshazhang/article/details/82786417

版权

需求

有100个core，每个core4000w数据量。把所有数据导出来。

方案1.

直接对每个core通过HttpSolrClient先取出总条数，然后通过每次分页读n行，直到读完，这个方案肯定不行，因为越到后面，读取速度越慢，不用想都要很长时间。

方案2.

深度分页

通过游标，可以使分页速度很快。

SolrQuery solrQuery = new SolrQuery();
solrQuery.setQuery("*:*");
solrQuery.setFields("*");
solrQuery.addSort("uid", ORDER.asc); 
String cursorMark = CursorMarkParams.CURSOR_MARK_START;

solrQuery.setRows(config.getBlockSize());
boolean done = false;
while (!done