solr导入MySql数据

1  概述

大多数的应用程序将数据存储在关系数据库、xml文件中。对这样的数据进行搜索是很常见的应用。所谓的DataImportHandler提供一种可配置 的方式向solr导入数据，可以一次全部导入，也可以增量导入。  

 

能够读取关系数据库中的数据。 

通过可配置的方式，能够将数据库中多列、多表的数据生成solr文档   

能够通过solr文档更新solr 

提供 通过配置文件就能够导入所有数据的能力 

能够配置 “完全导入”和“增量导入”的时间 

让读取xml文件，并建立索引成为可配置。 

能够将 其他的数据源（例如：ftp，scp，etc）或者其他格式的文档（Json，csv）以插件的形式集成到项目中。

 

2  配置资源数据

solr提供了2种方式来上传数据：

• 命令行方式
• 控制台界面

在solr目录下： solr\example\exampledocs下有一个post.jar，该jar提供了导入相关命令，下面主要记录通过控制台界面或者命令行的方式进行导入配置；

 

2.1     导入数据库

2.1.1   添加jar

solr 连接数据 需要两个jar 

分别是solr连接mysql的Jar，一个是mysql驱动Jar；

进入solr-5.5.0/dist 文件夹中

1)、将solr-dataimporthandler-5.5.4.jar，solr-dataimporthandler-extras-5.5.4.jar拷贝到solr\server\solr-webapp\webapp\WEB-INF\lib目录下；

2)、将mysql-connector-java-5.0.8-bin.jar拷贝到\solr\server\lib目录下；

 

 

数据库表结构：

 

 

2.1.2   配置数据库

进入solr\server\solr目录创建核心core目录，增加conf和data目录(关于如何新增的可以看之前写的安装配置文档)

在conf中

1、修改solrconfig.xml文件，新增：

<requestHandlername="/dataimport"class="org.apache.solr.handler.dataimport.DataImportHandler">  
         <lst name="defaults">  
               <strname="config">data-config.xml</str>  
         </lst>  
</requestHandler>

 

2、新增data-config.xml文件，内容如下：

<dataConfig>
   <dataSource type="JdbcDataSource"driver="com.mysql.jdbc.Driver"url="jdbc:mysql://localhost:3306/solr" user="root"password="root"/>
   <document>
       <entity name="check_lawyer"
           query="select id, name from solr_user">
           <field column="id" name="id" />
           <field column="name" name="name" />
       </entity>
   </document>
</dataConfig>

 

说明：

field区域当中的column对应数据库中的列，而name就是solr中显示的名称。

 

 

3、修改managed-schema文件，在最后新增：

<field name="content"type="string" indexed="true" stored="true"multiValued="false"/>

配置完成后，重启solr，选择Dataimport可以看到导入界面：

 

 

 

2.1.3   导入

Solr提供了full-import和delta-import两种导入方式

full-import：

多个entity，每个entity有各自的last_index_time,可以通过dataimporter.entityname.last_index_time来取各自的最后更新时间来进行增量更新。

多个entity时，进行full-import时指明导入某个entity,

http://localhost:8088/solr-platform/zbs-core/dataimport?entity=zcx&command=full-import.会把之前创建的索引通通删除（包括其他ENTITY创建的索引）重新建，，加上参数clean = false;但也会删除相同id的（在scheam.xml 的uniqueKey 声明的）

 

delta-import

主要是对于数据库（也可能是文件等等）中增加或者被修改的字段进行导入。主要原理是利用率每次我们进行import的时候在solr.home\conf下面生成的dataimport.properties文件，此文件里面有最近一次导入的相关信息。这个文件如下：

#Tue Jun 06 12:55:58 UTC 2017
last_index_time=2017-06-0612\:55\:57
check_lawyer.last_index_time=2017-06-0612\:55\:57

 

其实last_index_time是最近一次索引（full-import或者delta-import）的时间。

通过比较这个时间和我们数据库表中的timestamp列即可得出哪些是之后修改或者添加的。

 

选择Execute之后开始导入，可以选择RefreshStatus状态查看导入状态：

 

Entity下拉框中可以选择data-config.xml中配置的entity，为空时导入所有entity；

 

 

至此solr连接mysql导入完成，以上是通过平台控制界面来实现导入的，除了界面操作之外还可以使用命令的方式导入，在这里就不细说了，相关可以搜索
localhost:8983/solr/dataimport?command=full-import