Solr 千万级大数据索引查询导致服务器崩溃的原因和解决

最新推荐文章于 2024-08-10 16:30:06 发布

hikeboy

最新推荐文章于 2024-08-10 16:30:06 发布

阅读量1.3w

点赞数 1

文章标签： solr 服务器索引

本文链接：https://blog.csdn.net/hikeboy/article/details/53118233

版权

最近对老旧系统改造需要提高大数据量的查询速度，引入了solr。建了个28803309条的索引：

但是查询时出现了后半部分数据无法全部查询出来：

第0-10条可以查出来，

 solrQuery.setStart(0);
 solrQuery.setRows(10);

第1千万到1千万零10条也可以查出来

 solrQuery.setStart(10000000);
solrQuery.setRows(10000010);

但是当setStart（）大到一定程度比如
solrQuery.setStart(18000000);
solrQuery.setRows(10）
时，solr服务器就崩溃掉了。必须重启solr服务。

原因分析：
solr的查询涉及到排序，文件里没法直接分页了，所以它是在内存中分页的。在内存中分页，查询速度也非常快，但是需要的内存大，空间换时间。

因此，解决方法：加大内存，查看/solr/bin/下的启动本solr

echo "  -z <zkHost>   Zookeeper connection string; only used when running in SolrCloud mode using -c"
    echo "                   To launch an embedded Zookeeper instance, don't pass this parameter."
    echo ""
    echo "  -m <memory>   Sets the min (-Xms) and max (-Xmx) heap size for the JVM, such as: -m 4g"
    echo "                  results in: -Xms4g -Xmx4g; by default, this script sets the heap size to 512m"
    echo ""
    echo "  -s <dir>