Solr导入数据库数据

solr 数据导入流程

solr提供dataimport-Handler数据导入处理器，工作流程：

1. solr通过dataimport-Handler查询关系数据库中的数据
2. 对查询到的数据创建索引

配置

1. 将solr\dist\ solr-dataimporthandler-x.x.x.jar拷贝至solr\contrib\dataimporthandler\lib
2. 将mysql 的驱动包mysql-connector-java-5.1.42.jar拷贝到solr\contrib\databaseDriver\lib

3. 修改solrconfig.xml

   <!-- 引入 jar 文件路径 -->
   <lib dir="${solr.install.dir:../}/contrib/dataimporthandler/lib" regex=".*\.jar" />
   <lib dir="${solr.install.dir:../}/contrib/databaseDriver/lib" regex=".*\.jar" />
   <!-- 配置 dataimport 的 requestHandler -->
   <requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">
       <lst name="defaults">
         <str name="config">data-config.xml</str>
       </lst>
   </requestHandler>
   

4. 在solrHome\collection1\conf下创建data-config.xml，保证它的格式是UTF-8 无 BOM 格式编码

   <?xml version="1.0" encoding="UTF-8" ?>
   <dataConfig>
    <dataSource type="JdbcDataSource"
       driver="com.mysql.jdbc.Driver"
       url="jdbc:mysql://localhost/test"
       user="root"
       password="root"/>
       <document>
           <entity name="student"
               query="select est.stu_id,est.stu_name,GROUP_CONCAT(scores) scores from edu_student est join edu_score ese on est.stu_id=ese.stu_id group by est.stu_id">
               <!-- column：数据库字段；name：schema.xml 中定义的 field -->
               <field column="stu_id" name="id" />
               <field column="stu_name" name="stu_name" />
               <field column="scores" name="stu_scores" />
           </entity>
       </document>
   </dataConfig>

5. 修改schema.xml，添加与data-config.xml对应的Solr字段

   <fieldType name="text_ik" class="solr.TextField">
       <analyzer type="index" isMaxWordLength="false" class="org.wltea.analyzer.lucene.IKAnalyzer"/>
       <analyzer type="query" isMaxWordLength="true" class="org.wltea.analyzer.lucene.IKAnalyzer"/>
   </fieldType> 
   <field name="stu_name" type="text_ik" indexed="true" stored="true"/>
   <field name="stu_scores" type="string" indexed="false" stored="true" multiValued="true"/>
   <field name="stu_keywords" type="text_ik" indexed="true" stored="false" multiValued="true"/>
   <copyField source="stu_name" dest="stu_keywords"/>

6. 测试