solr data import性能优化

背景：

    solr 4.* 或者 solr 5.1

    数据结构存在entity嵌套

问题描述：

    全量导入100万条数据的话，子entity的query语句会被调用100万次，由于solr没有使用PreparedStatement（绑定变量的方式），SQL会在DB Server上硬解析100万次。

    此问题是solr的bug（solr-1262），从3.*到目前（5.1.0）一直没有修改。

解决方法：

    修改solr的源码，改为使用PreparedStatement（绑定变量的方式）。

    偷懒的方式可以hack一下solr的代码，比如

    1、将query的格式改为 "select * from tableA where id=?###123"。

    2、在JDBCDataSource中将Statement修改为PreparedStatement，并自行解析query中的字符串，其中真正的SQL为select * from tableA where id=?，参数为123。

    更完备的方法可以修改db-data-config.xml的schema，增加支持PreparedStatement的属性~

转载于:https://my.oschina.net/u/2288883/blog/465055