solr mysql 性能优化_solr data import性能优化

背景：

solr 4.* 或者 solr 5.1

数据结构存在entity嵌套

问题描述：

全量导入100万条数据的话，子entity的query语句会被调用100万次，由于solr没有使用PreparedStatement(绑定变量的方式)，SQL会在DB Server上硬解析100万次。

此问题是solr的bug(solr-1262)，从3.*到目前(5.1.0)一直没有修改。

解决方法：

修改solr的源码，改为使用PreparedStatement(绑定变量的方式)。

偷懒的方式可以hack一下solr的代码，比如

1、将query的格式改为 "select * from tableA where id=?###123"。

2、在JDBCDataSource中将Statement修改为PreparedStatement，并自行解析query中的字符串，其中真正的SQL为select * from tableA where id=?，参数为123。

更完备的方法可以修改db-data-config.xml的schema，增加支持PreparedStatement的属性~