mysql solr导入_Solr导入MySQL数据

Solr导入MySQL数据

1. 数据库准备

数据库需要开启远程访问权限

mysql 5 或 mariadb方式

grant all on *.* to 'root'@'%' identified by '你的密码';

oracle mysql 8方式

create user 'root'@'%' identified by '你的密码';

grant all privileges on *.* to 'root'@'%';

2. 设置表对应关系

2.1 表结构

一个核心对应一个数据库的表, 假如有一个商品表, 表结构如下:

2.2 设置字段

打开网页-进入Solr的页面, 设置字段对应关系如下

title text_ik

sellPoint text_ik

price plong

barcode string

image string

cid plong

status pint

created pdate

updated pdate

2.3 Copy Field 副本字段

查询时需要按字段查询,例如 title:电脑, 可以将多个字段的值合并到一个字段进行查询,默认查询字段 _text_

将 title 和 sellPoint 复制到 _text_ 字段

3. Data Import Handler 配置

3.1 添加jar文件

Data Import Handler 的 jar 文件存放在 solr目录/dist 目录下

solr-dataimporthandler-8.1.1.jar

solr-dataimporthandler-extras-8.1.1.jar

复制这两个文件和 mysql 的 jar 文件到 solr目录/server/solr-webapp/webapp/WEB-INF/lib

3.2 dih-config.xml

配置mysql的连接及sql语句, 然后上传到solr目录/server/solr/pd/conf下

driver="com.mysql.jdbc.Driver"

url="jdbc:mysql://192.168.64.1:3306/pd_store"

user="root"

password="123456"

batchSize="100"

autoCommit="false" />

query="SELECT id,title,sell_point sellPoint,price,barcode,image,cid,`status`,created,updated FROM pd_item"

deltaQuery="SELECT id,title,sell_point sellPoint,price,barcode,image,cid,`status`,created,updated FROM pd_item WHERE updated > date_add(str_to_date('${dih.last_index_time}','%Y-%m-%d %H:%i:%s'),interval 8 hour)"

transformer="RegexTransformer">

3.3 solrconfig.xml 中添加 DIH 配置

dih-config.xml

3.4 重启 solr

cd /usr/local/solr-8.1.1

bin/solr restart -force

4. 导入数据

重启 solr 后导入数据,确认导入的文档数量为 3160

查询测试

在复制字段 _text_ 中查找 电脑

所有字段中包含电脑的会被查询出来

在标题中查找 电脑

标题中含有电脑的会查询出来

用双引号查找完整词 "笔记本"

如果不加双引号的话，则会进行分词，加上双引号以后就当成一个整体进行查询

搜索 +lenovo +电脑

代表的是选择Lenovo 并且是电脑类型

搜索 +lenovo -电脑

代表的是选择Lenovo 但是排除电脑

统计 cid

在统计数据的最下面可以显示记录条数

价格范围

在 Raw Query Parameters 输入框中填入以下内容:

facet.range=price&facet.range.start=0&facet.range.end=10000&facet.range.gap=2000

多字段统计

在 Raw Query Parameters 输入框中填入以下内容:

facet.pivot=cid,status