Solr 学习笔记(三) 数据导入

Solr 学习笔记(三) 数据导入

大多数的应用程序将数据存储在关系数据库、xml文件中。对这样的数据进行搜索是很常见的应用。所谓的DataImportHandler提供一种可配置的方式向solr导入数据,可以一次全部导入,也可以增量导入。

他可以实现

能够读取关系数据库中的数据。  
通过可配置的方式,能够将数据库中多列、多表的数据生成solr文档    
能够通过solr文档更新solr  
提供通过配置文件就能够导入所有数据的能力  
能够发现并处理 由insert、update带来的变化(我们假定在表中有一个叫做“last-modified的列”)  
能够配置"完全导入"和"增量导入"的时间  
让读取xml文件,并建立索引成为可配置。  
能够将 其他的数据源(例如:ftp,scp,etc)或者其他格式的文档(Json,csv)以插件的形式集成到项目中。 


这个 Handler首先要在solrconfig.xml文件中配置下,如下所示。

<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">  
    <lst name="defaults">  
      <str name="config">/home/username/data-config.xml</str>        
    </lst>  
  </requestHandler>  

从它的名字上,我们或许也可以猜到,  
DataImportHandler正是requestHandler的实现。我们一共需要在两个地方配置文件中进行一些配置。  
solrconfig.xml 。 data-config.xml必须在这个文件中配置,datasource也可以。不过,一般将datasource放在data- config.xml文件中。 

下面几个步骤是必要的.  
1.定义一个data-config.xml 文件,并这个它的路径配置到solrconfig.xml中关于DataImportHandler的配置中。给出Connection的信息(假设你选择在solrconfig中配置datasource)  

<dataSource type="JdbcDataSource" driver="com.mysql.jdbc.Driver" url="jdbc:mysql://localhost/dbname" user="db_username" password="db_password"/>  
属性type 指定了实现的类型。它是可选的。默认的实现是JdbcDataSource。 
一个配置文件可以配置多个数据源。增加一个dataSource元素就可以增加一个数据源了。name属性可以区分不同的数据源。如果配 置了多于一个的数据源,那么要注意将name配置成唯一的。 

例如:

<dataSource type="JdbcDataSource" name="ds-1" driver="com.mysql.jdbc.Driver" url="jdbc:mysql://db1-host/dbname" user="db_username" password="db_password"/>  
<dataSource type="JdbcDataSource" name="ds-2" driver="com.mysql.jdbc.Driver" url="jdbc:mysql://db2-host/dbname" user="db_username" password="db_password"/>  
然后这样使用 :
<entity name="one" dataSource="ds-1" ...>  
..
</entity>  

2.打开DataImportHandler页面去验证,是否该配置的都配置好了。http://localhost:8983/solr/dataimport 

2.1.使用“完全导入”命令将数据从数据库中导出,并提交给solr建立索引  

http://localhost:8983/solr/dataimport?command=full-import
2.2.使用“增量导入”命令对数据库发生的变化的数据导出,并提交给solr建立索引。

http://localhost:8983/solr/dataimport?command=delta-import

参考:

http://cpf1985.iteye.com/blog/1074425


评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值