需求
有100个core,每个core4000w数据量。把所有数据导出来。
方案1.
直接对每个core通过HttpSolrClient先取出总条数,然后通过每次分页读n行,直到读完,这个方案肯定不行,因为越到后面,读取速度越慢,不用想都要很长时间。
方案2.
深度分页
通过游标,可以使分页速度很快。
SolrQuery solrQuery = new SolrQuery();
solrQuery.setQuery("*:*");
solrQuery.setFields("*");
solrQuery.addSort("uid", ORDER.asc);
String cursorMark = CursorMarkParams.CURSOR_MARK_START;
solrQuery.setRows(config.getBlockSize());
boolean done = false;
while (!done