最近有小伙伴跟我抱怨说:益达,最近博客更新的有点慢呐。其实不是我变懒了,我是不想因为数量而降低了博客的质量,我需要抱着对你们负责的态度来写每一篇博客,绝不能含糊啊,所以,还望大家多多包涵呐。
今天群里一朋友问我Solr如何对数据库表里的数据进行索引,为此,今晚特地更新此篇博客,这里我以Solr当前最新版本5.1.0,数据库MySQL为例进行讲解说明。
首先我们需要准备一张测试表,如图:
测试表创建好了之后,我们需要让表里插入几条测试数据,如图:
然后需要把E:\solr-5.1.0\dist目录下的solr-dataimporthandler-5.1.0.jar复制到E:\apache-tomcat-7.0.55\webapps\solr\WEB-INF\lib目录下,如图:
复制一个MySQL数据库驱动jar包到E:\apache-tomcat-7.0.55\webapps\solr\WEB-INF\lib目录下(如果你使用的Oracle数据库,那就是复制Oracle数据库驱动jar包,你懂的),如图:
然后你需要创建solr_home根目录,以及在solr_home创建你的core目录结构,如图:
至于如何创建,请参见我先前写的《跟益达学Solr5之使用Jetty部署Solr》,这里就不再赘述了。
默认dataImport功能在Solr5中是禁用的,需要在solrconfig.xml中添加如下配置开启数据导入功能:
<requestHandler name="/dataimport" class="solr.DataImportHandler"> <lst name="defaults"> <str name="config">data-config.xml</str> </lst> </requestHandler>
这里的data-config.xml是个相对路径,是相对于你当前core下的conf目录即C:\solr_home\core1\conf,当然你也可以直接写成绝对路径,比如:C:\solr_home\core1\conf\data-config.xml,建议写成相对路径。
从E:\solr-5.1.0\example\example-DIH\solr\solr\conf路径下复制一份 data.config.xml配置文件到solrconfig.xml配置文件的同级目录C:\solr_home\core1\conf下,如图:
然后我们需要使用文本编辑软件打开data-config.xml配置文件稍作修改,如图:
其中solrDB为数据源自定义名称,随便取,没什么约束,type这是固定值,表示JDBC数据源,后面的driver表示JDBC驱动类,这跟你使用的数据库有关,url即JDBC链接URL,后面的user,password分别表示链接数据库的账号密码,下面的entity映射有点类似hiberante的mapping映射,column即数据库表的列名称,name即schema.xml中定义的域名称
紧接着我们需要打开schema.xml配置文件对域名称、域类型、是否索引、是否存储、是否分词等信息进行配置,如图:
注意:这里的cndate域类型是我自定义的域类型,我在下面定义的,看图:
TrieCNDateField是我自定义的域类型,源码我稍候分享,主要是为了使日期能以我们习惯的yyyy-MM-dd HH:mm:ss这种格式来存储,而不是默认的西方人习惯的类似这样的格式:1995-12-31T23:59:59Z
本来是想直接修改TrieDateField的源码的,但我感觉那样不够优雅,所以我新建了一个Java Project----> solr-core-extra,然后我把他打包成了jar包。
把这个jar包复制到E:\apache-tomcat-7.0.55\webapps\solr\WEB-INF\lib目录下,如图:
然后启动我们的Tomcat,如图:
这里我假定你们都已经成功把Solr5部署到了Tomcat下了,如果Tomcat正常启动后,我们会看到:
然后打开你们的浏览器,访问http://localhost:8080/solr,确保我们的Solr Web UI能正常访问,如图:
点击左侧的Dataimport菜单,不出意外的话,你将看到如图截图:
需要引起注意的是这里的command参数,它有两个选项,如图:
full-import:全量导入,它会覆盖原有的索引
delta-import:即增量导入,它会在原有索引的基础上追加
下面的几个多选框含义解释如下:
verbose:这个选项设为true的话,会打印导入的一些中间过程的详细信息,有利于调试以及了解内部操作细节
clean:表示是否在导入数据创建索引之前先清空掉原有的索引
commit:表示是否立即提交索引
optimize:表示是否优化索引
debug: 表示是否开启调试模式
然后选择需要导入的Entity,点击Execute按钮开始执行数据导入操作,如图:
如果你看到indexing字样,如图:
如果你导入的数据并不多,但这个界面停留了很长时间(比如超过了30秒,就不需要再傻傻等着了),那么很有可能数据导入过程出错了,这时,请切换到logging菜单查看solr日志,如图:
日志提示有几个html文件找不到,我们可以在solr的解压安装目录下可以找到,如图:
然后我们需要清掉索引目录重新执行dataimport操作,如图:
然后重启我们的tomcat,重新执行dataimport操作,如图:
切换到overview菜单,我们会看到:
切换到Query菜单,对我们刚插入的索引进行查询测试,如图:
OK,至此从数据库导入数据并索引就讲解到这儿了,至于最后抛出的问题就留给你们自己解决啦,最后关于我自定义的日期域类型我会在底下的附件里上传,因为ITeye不适合上传大文件,所以依赖的jar包我就不提供了,需要完整源码的,请从我提供的百度网盘地址去下载:
http://pan.baidu.com/s/1i3J4DZf
如果你还有什么问题请加我Q-Q:7-3-6-0-3-1-3-0-5,
或者加裙一起交流学习!