linux搭建solr服务器及其核心配置使用

solr

Solr是一个高性能，基于Lucene的全文搜索服务器。同时对其进行了扩展，提供了比Lucene更为丰富的查询语言，同时实现了可配置、可扩展，并对查询性能进行了优化，并且提供了一个完善的功能管理界面，是一款非常优秀的全文搜索引擎。

solr服务器搭建

所需文件：
这里笔者用的是“终端神器”—mobaxterm 来操作的linux，笔者也建议小伙伴们使用这一款比较全能的终端工具，（因为下文中有些操作和这个工具有关）。
想用mobaxterm的小朋友可以来这里下载使用：
链接：https://pan.baidu.com/s/1sQ7N_ApPn59qJvgK__38hQ
提取码：ctgb

solr 服务器包
链接：https://pan.baidu.com/s/1ocQmqGef_GsWTM6YHpmhaA
提取码：by53

linux环境jdk安装包
链接：https://pan.baidu.com/s/19LrWcNJZF80dbXbKPxUduA
提取码：yvy9

1.连接mobaxterm，之后将上面两个安装包上传至linux的root目录

2.解压jdk

tar -xf jdk-8u212-linux-x64.tar.gz -C /usr/local/

3.配置环境变量

vim /etc/profile
# 末尾添加下面两行：
export JAVA_HOME=/usr/local/jdk1.8.0_212
export PATH=$JAVA_HOME/bin:$PATH

4.让配置立即生效，并确认配置

source /etc/profile
java -version
javac -version

5.解压 solr

cd ~/
tar -xf solr-8.1.1.tgz -C /usr/local/

6.启动solr

cd /usr/local/solr-8.1.1/
bin/solr start -force

7.开放端口，访问测试

firewall-cmd --zone=public --add-port=8983/tcp --permanent
firewall-cmd --reload

http://192.168.64.170:8983/

solr配置

以以上数据库表pd-item在solr中创建索引：

创建 core

数据库中 pd_item 表中的商品数据, 在 solr 中保存索引数据, 一类数据, 在 solr 中创建一个 core 保存索引数据

创建一个名为 pd 的 core, 首先要准备以下目录结构:

# solr目录/server/solr/
#                    pd/
#                     conf/
#                     data/


cd /usr/local/solr-8.1.1

mkdir server/solr/pd
mkdir server/solr/pd/conf
mkdir server/solr/pd/data

conf 目录是 core 的配置目录, 存储一组配置文件, 我们以默认配置为基础, 后续逐步修改

复制默认配置

cd /usr/local/solr-8.1.1

cp -r server/solr/configsets/_default/conf server/solr/pd

创建名为 pd 的 core

中文分词测试

随便找一段话，放入分词框呢，进行分词，查看效果：

查看效果，发现solr自带text_cjk分词器分词效果并不理想

安装中文分词工具 - ik-analyzer

https://github.com/magese/ik-analyzer-solr

链接：https://pan.baidu.com/s/1y5SRmVD66NOvNU74rIrMoQ
提取码：zo0w

将以上四个jar文件通过mobaxterm上传到linux目录下的

/usr/local/solr-8.1.1/server/solr-webapp/webapp/WEB-INF/lib

目录下

配置文件上传

首先创建classes目录
执行以下命令：

# classes目录如果不存在,需要创建该目录
mkdir /usr/local/solr-8.1.1/server/solr-webapp/webapp/WEB-INF/classes

六个配置文件：
链接：https://pan.baidu.com/s/11lJRKP45mKcOufyxVYCABw
提取码：3tvh

将以上六个配置文件上传到刚刚新建的classes目录里

配置 managed-schema

修改 solr目录/server/solr/pd/conf/managed-schema,添加 ik-analyzer 分词器

<!-- ik分词器 -->
<fieldType name="text_ik" class="solr.TextField">
  <analyzer type="index">
      <tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory" useSmart="false" conf="ik.conf"/>
      <filter class="solr.LowerCaseFilterFactory"/>
  </analyzer>
  <analyzer type="query">
      <tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory" useSmart="true" conf="ik.conf"/>
      <filter class="solr.LowerCaseFilterFactory"/>
  </analyzer>
</fieldType>

重启 solr 服务

cd /usr/local/solr-8.1.1

bin/solr restart -force

使用 ik-analyzer 对中文进行分词测试

再次输入一段话重新测试

分词成功！！！

设置停止词

即自动忽略不需要的词以及政治敏感词
停止词配置文件：
链接：https://pan.baidu.com/s/19Mo_PjnRkE8F_s-c8mfdDg
提取码：55a6

停止词用法为在stopwords.txt中加上你不想要出现的词，分词系统便会自动过滤该词。

上传停止词配置文件到 solr目录/server/solr-webapp/webapp/WEB-INF/classes

重启服务,观察分词结果中,停止词被忽略

bin/solr restart -force

mysql 数据库数据导入核心字段

从 mysql 导入商品数据
设置字段
title ->text_ik
sellPoint-> text_ik
price-> plong
barcode-> string
image-> string
cid-> plong
status-> pint
created-> pdate
updated-> pdate

一个一个添加

Copy Field 副本字段

查询时需要按字段查询,例如 title:电脑, 可以将多个字段的值合并到一个字段进行查询,默认查询字段 text

将 title 和 sellPoint 复制到 text 字段

准备 mysql 数据库数据

用 sqlyog 执行 pd.sql
授予 root 用户 跨网络访问权限
注意: 此处设置的是远程登录的 root 用户,本机登录的 root 用户密码不变

CREATE USER 'root'@'%' IDENTIFIED BY 'root';

GRANT ALL ON *.* TO 'root'@'%';

随机修改30%的商品,让商品下架,以便后面做查询测试

UPDATE pd_item SET STATUS=0 WHERE RAND()<0.3

Data Import Handler 配置

dih-config.xml:
链接：https://pan.baidu.com/s/1fFNE8ocgBwwz-tVKMgH0eg
提取码：8izi
下载后打开修改：
修改 mysql 的 ip 地址为你的主机mysql地址,传到
solr目录/server/solr/pd/conf

solrconfig.xml 中添加 DIH 配置

<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">
    <lst name="defaults">  
    	<str name="config">dih-config.xml</str>  
    </lst>  
</requestHandler>

重启 solr

cd /usr/local/solr-8.1.1

bin/solr restart -force

导入数据

重启 solr 后导入数据,确认导入的文档数量为 3160



查询测试
在复制字段 text 中查找 手机

在标题中查找 手机

用双引号查找完整词 “手机”