Lucene Solr 811的使用

---

---

启动solr要切换到solr-8.1.1目录下 cd /usr/local/solr-8.1.1

创建 core

数据库中 pd_item 表中的商品数据, 在 solr 中保存索引数据, 一类数据, 在 solr 中创建一个 core 保存索引数据

创建一个名为 pd 的 core, 首先要准备以下目录结构:

# solr目录/server/solr/
#                    pd/
#                     conf/
#                     data/


cd /usr/local/solr-8.1.1

mkdir server/solr/pd
mkdir server/solr/pd/conf
mkdir server/solr/pd/data

conf 目录是 core 的配置目录, 存储一组配置文件, 我们以默认配置为基础, 后续逐步修改

复制默认配置

cd /usr/local/solr-8.1.1

cp -r server/solr/configsets/_default/conf server/solr/pd

创建名为 pd 的 core

中文分词测试

填入以下文本, 观察分词结果:

Solr是一个高性能，采用Java5开发，基于Lucene的全文搜索服务器。同时对其进行了扩展，提供了比Lucene更为丰富的查询语言，同时实现了可配置、可扩展并对查询性能进行了优化，并且提供了一个完善的功能管理界面，是一款非常优秀的全文搜索引擎。

没有现成的中文支持,只能先选择text-general普通文本.
分出来的词的效果都是一个一个的中文汉字,没有词,很显然是不对的,没有达到我没想要的效果.
所以接下来要配置ik中文分词器,列表里面也选择text_ik

中文分词工具 - ik-analyzer

https://github.com/magese/ik-analyzer-solr
提供了非常详细的安装步骤,自己参考文档

• 下载 ik-analyzer 分词 jar 文件,传到 solr目录/server/solr-webapp/webapp/WEB-INF/lib
  • 为了后续操作方便,我们把后面用到的jar文件一同传到服务器,包括四个文件:
    • ik-analyzer-8.1.0.jar
    • mysql-connector-java-5.1.46.jar
    • solr-dataimporthandler-8.1.1.jar
    • solr-dataimporthandler-extras-8.1.1.jar

• 复制6个文件到 solr目录/server/solr-webapp/webapp/WEB-INF/classes

# classes目录如果不存在,需要创建该目录
mkdir /usr/local/solr-8.1.1/server/solr-webapp/webapp/WEB-INF/classes

这6个文件复制到 classes 目录下
resources/
    IKAnalyzer.cfg.xml
    ext.dic
    stopword.dic
    stopwords.txt
    ik.conf
    dynamicdic.txt

• 配置 managed-schema

修改 solr目录/server/solr/pd/conf/managed-schema,添加 ik-analyzer 分词器

<!-- ik分词器 -->
<fieldType name="text_ik" class="solr.TextField">
  <analyzer type="index">
      <tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory" useSmart="false" conf="ik.conf"/>
      <filter class="solr.LowerCaseFilterFactory"/>
  </analyzer>
  <analyzer type="query">
      <tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory" useSmart="true" conf="ik.conf"/>
      <filter class="solr.LowerCaseFilterFactory"/>
  </analyzer>
</fieldType>

• 重启 solr 服务

cd /usr/local/solr-8.1.1
bin/solr restart -force

使用 ik-analyzer 对中文进行分词测试

填入以下文本, 选择使用 text_ik 分词器, 观察分词结果:

Solr是一个高性能，采用Java5开发，基于Lucene的全文搜索服务器。同时对其进行了扩展，提供了比Lucene更为丰富的查询语言，同时实现了可配置、可扩展并对查询性能进行了优化，并且提供了一个完善的功能管理界面，是一款非常优秀的全文搜索引擎。

有些词也不是我们需要的,所以可以设置停止词,把不需要的词直接过滤掉.例如"一个"

设置停止词

上传停止词配置文件到 solr目录/server/solr-webapp/webapp/WEB-INF/classes

stopword.dic
stopwords.txt

• 重启服务,观察分词结果中,停止词被忽略

bin/solr restart -force

准备 mysql 数据库数据

• 用 sqlyog 执行 pd.sql
• 授予 root 用户 跨网络访问权限
  注意: 此处设置的是远程登录的 root 用户,本机登录的 root 用户密码不变

# mysql5或其他版本执行这一句即可
grant all on *.* to 'root'@'%' identified by 'root';

# mysql8的话要执行两句
grant all privileges on *.* to 'root'@'%' with grant option;

随机修改30%的商品,让商品下架,以便后面做查询测试

UPDATE pd_item SET STATUS=0 WHERE RAND()<0.3

从 mysql 导入商品数据

设置字段

• title text_ik
• sellPoint text_ik
• price plong
• barcode string
• image string
• cid plong
• status pint
• created pdate
• updated pdate

Copy Field 副本字段

查询时需要按字段查询,例如 title:电脑, 可以将多个字段的值合并到一个字段进行查询,默认查询字段 _text_

将 title 和 sellPoint 复制到 _text_ 字段

Data Import Handler 配置

• 添加 jar 文件

Data Import Handler 的 jar 文件存放在 solr目录/dist 目录下

solr-dataimporthandler-8.1.1.jar
solr-dataimporthandler-extras-8.1.1.jar

复制这两个文件和 mysql 的 jar 文件到 solr目录/server/solr-webapp/webapp/WEB-INF/lib

• dih-config.xml
  修改 mysql 的 ip 地址,传到
  solr目录/server/solr/pd/conf

• solrconfig.xml 中添加 DIH 配置

<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">
    <lst name="defaults">  
    	<str name="config">dih-config.xml</str>  
    </lst>  
</requestHandler>

• 重启 solr

cd /usr/local/solr-8.1.1

bin/solr restart -force

导入数据

重启 solr 后导入数据,确认导入的文档数量为 3160

查询测试

1. 在复制字段 _text_ 中查找 电脑
   

2. 在标题中查找 电脑
   

3. 用双引号查找完整词 “笔记本”
   

4. 搜索 +lenovo +电脑
   

5. 搜索 +lenovo -电脑
   

6. 统计 cid
   
   
   
   

7. 价格范围

在 Raw Query Parameters 输入框中填入以下内容:

facet.range=price&facet.range.start=0&facet.range.end=10000&facet.range.gap=2000


8. 多字段统计

在 Raw Query Parameters 输入框中填入以下内容:

facet.pivot=cid,status