solr-企业级搜索应用服务器

1.solr简介

其实我们几乎都在用，比如你用的淘宝，京东，百度等大型网站

看一下百度的
再看一下京东的
很多人其实也会有一种疑问，他们的搜索为啥这么快呢？它又是通过什么技术实现的呢？

在普通项目中，我们的搜索功能很普遍，就是通过某一字段进行模糊查询数据库表数据，有多个字段的话还得整个类型选择，有没有感觉很繁琐。尤其电商平台的交易量和产品量巨大，一旦搜索就会增加搜索的压力，要是考虑有一定量的并发呢？可想而知，网站不崩也算是一种幸运

由此这也就成为了搜索需要转移到外部的搜索服务器的原因。solr具体是啥呢？

Solr是一个高性能，基于Lucene的全文搜索服务器。同时对其进行了扩展，提供了比Lucene更为丰富的查询语言，同时实现了可配置、可扩展，并对查询性能进行了优化，并且提供了一个完善的功能管理界面，是一款非常优秀的全文搜索引擎。
lucene
Lucene是apache jakarta项目的一个子项目，是一个开放源代码的全文检索引擎开发工具包，但它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎。Lucene的目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能，或者是以此为基础建立起完整的全文检索引擎。

2. 倒排索引

简介：
倒排索引是以字或词为关键字进行索引，表中关键字所对应的记录表项记录了出现这个字或词的所有文档，一个表项就是一个字表段，它记录该文档的ID和字符在该文档中出现的位置情况。

举个例子：
我们一般情况下,先找到文档,再在文档中找出包含的词;

倒排索引则是这个过程反过来,用词,来找出它出现的文档.

实际举例

文档编号	文档内容
1	全文检索引擎工具包
2	全文检索引擎的架构
3	查询引擎和索引引擎

分词结果

文档编号	分词结果集
1	{全文,检索,引擎,工具,包}
2	{全文,检索,引擎,的,架构}
3	{查询,引擎,和,索引,引擎}

倒排索引

编号	单词	文档编号列表
1	全文	1,2
2	检索	1,2
3	引擎	1,2,3
4	工具	1
5	包	1
6	架构	2
7	查询	3
8	索引	3

说明：
　每个字或词对应的文档数量是动态变化的，所以倒排表的建立和维护都较为复杂，但是在查询的时候由于可以一次得到查询关键字所对应的所有文档，所以效率高于正排表。在全文检索中，检索的快速响应是一个最为关键的性能，而索引建立由于在后台进行，尽管效率相对低一些，但不会影响整个搜索引擎的效率。

3. lucene API 介绍

创建一个maven项目：

pom.xml依赖引入：

    <dependencies>
        <dependency>
            <groupId>org.apache.lucene</groupId>
            <artifactId>lucene-core</artifactId>
            <version>8.0.0</version>
        </dependency>

        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.12</version>
        </dependency>

        <dependency>
            <groupId>org.apache.lucene</groupId>
            <artifactId>lucene-analyzers-smartcn</artifactId>
            <version>8.0.0</version>
        </dependency>
    </dependencies>

创建测试类,添加以下代码：

import org.apache.lucene.analysis.cn.smart.SmartChineseAnalyzer;
import org.apache.lucene.document.*;
import org.apache.lucene.index.IndexWriter;
import org.apache.lucene.index.IndexWriterConfig;
import org.apache.lucene.store.FSDirectory;
import org.junit.Test;

import java.io.File;

public class Test1 {
    String[] a = {
            "3, 华为 - 华为电脑, 爆款",
            "4, 华为手机, 旗舰",
            "5, 联想 - Thinkpad, 商务本",
            "6, 联想手机, 自拍神器"
    };

    @Test
    public void test1() throws Exception {
        //存储索引文件的路径
        File path = new File("d:/abc/");
        FSDirectory d = FSDirectory.open(path.toPath());
        //lucene提供的中文分词器
        SmartChineseAnalyzer analyzer = new SmartChineseAnalyzer();
        //通过配置对象来指定分词器
        IndexWriterConfig cfg = new IndexWriterConfig(analyzer);
        //索引输出工具
        IndexWriter writer = new IndexWriter(d, cfg);

        for (int i = 0; i < a.length; i++) {
            String[] strs = a[i].split(",");

            //创建文档,文档中包含的是要索引的字段
            Document doc = new Document();
            doc.add(new LongPoint("id", Long.parseLong(strs[0])));
            doc.add(new StoredField("id", Long.parseLong(strs[0])));
            doc.add(new TextField("title", strs[1], Field.Store.YES));
            doc.add(new TextField("sellPoint", strs[2], Field.Store.YES));

            //将文档写入磁盘索引文件
            writer.addDocument(doc);
        }
        writer.close();
    }
}

启动程序创建索引文件

查看索引
luke是索引查看工具，下载一下：https://github.com/DmitryKey/luke/releases

注意luke的版本要和你用的lucene的版本要一致
或者下载源码，自己用maven命令进行打包即可。
源码地址：https://github.com/lmy1965673628/luke.git

找到jar包，运行即可，打开索引的存放位置

指定分词器,并测试分词
查询测试
输入名称，进行查询，可以看到下方会显示所有符合条件的内容
id的查询
id要改成long类型，是因为程序中存储的时候是long类型
我们改改条件，改为id=5,看一下结果。
从索引查询

在测试类中添加 test2() 测试方法

    @Test
    public void test2() throws Exception {
        //索引数据的保存目录
        File path = new File("d:/abc");
        FSDirectory d = FSDirectory.open(path.toPath());
        //创建搜索工具对象
        DirectoryReader reader = DirectoryReader.open(d);
        IndexSearcher searcher = new IndexSearcher(reader);

        //关键词搜索器,我们搜索 "title:华为"
        TermQuery q = new TermQuery(new Term("title", "华为"));
        //执行查询,并返回前20条数据
        TopDocs docs = searcher.search(q, 20);

        //遍历查询到的结果文档并显示
        for (ScoreDoc scoreDoc : docs.scoreDocs) {
            Document doc = searcher.doc(scoreDoc.doc);
            System.out.println(doc.get("id"));
            System.out.println(doc.get("title"));
            System.out.println(doc.get("sellPoint"));
            System.out.println("--------------");
        }
    }

运行看一下结果：对比一下luke工具查询的结果

4. solr 安装

下载地址：http://archive.apache.org/dist/lucene/solr/8.0.0/
我放在Linux上，所以下载Linux版本的

把文件传到 /home目录下
解压 solr

cd /home
# 上传 solr-8.0.0.tgz 到 /usr/local 目录
# 并解压缩
tar -xzf solr-8.0.0.tgz

启动 solr

cd /home/solr-8.0.0
# 不建议使用管理员启动 solr,加 -force 强制启动
bin/solr start -force
#若防火墙已开
# 开放 8983 端口
firewall-cmd --zone=public --add-port=8983/tcp --permanent
firewall-cmd --reload

浏览器访问 solr 控制台

http://服务器ip:8983

创建 core
看一下我的数据库

数据库中 pd_item 表中的商品数据, 在 solr 中保存索引数据, 一类数据, 在 solr 中创建一个 core 保存索引数据

创建一个名为 pd 的 core, 首先要准备以下目录结构:

# solr目录/server/solr/
#                    pd/
#                     conf/
#                     data/


cd /usr/local/solr-8.0.0

mkdir server/solr/pd
mkdir server/solr/pd/conf
mkdir server/solr/pd/data

conf 目录是 core 的配置目录, 存储一组配置文件, 我们以默认配置为基础, 后续逐步修改
复制默认配置

cd /usr/local/solr-8.0.0

cp -r server/solr/configsets/_default/conf server/solr/pd

创建名为 pd 的 core

中文分词测试

填入以下文本, 观察分词结果:

Solr是一个高性能，采用Java5开发，基于Lucene的全文搜索服务器。同时对其进行了扩展，提供了比Lucene更为丰富的查询语言，同时实现了可配置、可扩展并对查询性能进行了优化，并且提供了一个完善的功能管理界面，是一款非常优秀的全文搜索引擎。

中文分词工具 - ik-analyzer

https://github.com/magese/ik-analyzer-solr

下载的是源码，需要自己进行打包，传到 solr目录 /server/solr-webapp/webapp/WEB-INF/lib

切记，打包前需要对应好版本

下载 所需的文件，我整理好了
链接：https://pan.baidu.com/s/1xSfUi9C5LpN98aUQL8eI6A
提取码：d7k4

将文件里的所有jar包复制到/server/solr-webapp/webapp/WEB-INF/lib

将其他文件复制到 solr目录 /server/solr-webapp/webapp/WEB-INF/classes
如果没有classes文件夹就创建一个

配置 managed-schema
修改 solr目录/server/solr/pd/conf/managed-schema,在文件最后添加 ik-analyzer 分词器

<!-- ik分词器 -->
<fieldType name="text_ik" class="solr.TextField">
  <analyzer type="index">
      <tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory" useSmart="false" conf="ik.conf"/>
      <filter class="solr.LowerCaseFilterFactory"/>
  </analyzer>
  <analyzer type="query">
      <tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory" useSmart="true" conf="ik.conf"/>
      <filter class="solr.LowerCaseFilterFactory"/>
  </analyzer>
</fieldType>

重启 solr 服务

cd /usr/local/solr-8.0.0

bin/solr restart -force

使用 ik-analyzer 对中文进行分词测试
填入以下文本, 选择使用 text_ik 分词器, 观察分词结果:

Solr是一个高性能，采用Java5开发，基于Lucene的全文搜索服务器。同时对其进行了扩展，提供了比Lucene更为丰富的查询语言，同时实现了可配置、可扩展并对查询性能进行了优化，并且提供了一个完善的功能管理界面，是一款非常优秀的全文搜索引擎。

设置停止词

上传停止词配置文件到 solr目录/server/solr-webapp/webapp/WEB-INF/classes

stopword.dic
stopwords.txt

我整理的文件里其实已经有了，可根据需要进行扩展
重启服务,观察分词结果中,停止词被忽略

bin/solr restart -force

前段时间公司有的资讯栏目就遇到了政治比较敏感的词汇，然后赶紧召集产品，开发，数据等中心去找相关信息，普通的是怎么操作的呢？去数据库赶紧写sql语句筛选，挨个表进行找。然后再删除

但百度却可以做到瞬间屏蔽。正是借助于搜索系统的优势才可有这样的速度，也可以看出从前的方式无论从哪方面讲一点优势也没有
一旦政府公布一些敏感词汇，就可以实现快速屏蔽，快速定位。极大的提高了速度

5. 连接mysql

授予 root 用户 跨网络访问权限
注意: 此处设置的是远程登录的 root 用户,本机登录的 root 用户密码不变

grant all on *.* to 'root'@'%' identified by 'root';

但我的mysql版本是8以上的，用这个命令出错，用了另一种：

grant all on *.* to 'root'@'%';

刷新授权(立刻生效)

flush privileges;

可以使用我提供的数据库：GitHub地址

导入到本地中，我们使用pd_item表用于测试

随机修改30%的商品,让商品下架,以便后面做查询测试

UPDATE pd_item SET STATUS=0 WHERE RAND()<0.3

从 mysql 导入商品数据

设置字段

• title text_ik
• sellPoint text_ik
• price plong
• barcode string
• image string
• cid plong
• status pint
• created pdate
• updated pdate

Copy Field 副本字段

查询时需要按字段查询,例如 title:电脑, 可以将多个字段的值合并到一个字段进行查询,默认查询字段 _text_,将 title 和 sellPoint 复制到 _text_ 字段

添加 jar 文件
Data Import Handler 的 jar 文件存放在 solr目录/dist 目录下,
将solr-dataimporthandler-7.5.0.jar 、solr-dataimporthandler-extras-7.5.0.jar 复制到/home/solr-8.0.0/server/solr-webapp/webapp/WEB-INF/lib

我们当初在配置的时候做的一个步骤

我们要进入到/home/solr-8.0.0/server/solr/pd/conf去修改配置

第一步，在solrconfig.xml中文末添加配置：

<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">
    <lst name="defaults">
        <str name="config">data-config.xml</str>
    </lst>
</requestHandler>

第二步：创建data-config.xml文件用于配置数据库连接：按照格式改为自己数据库的相关信息
这里需要考虑mysql版本的问题，

• 我的sql版本是8.0以上的，所以驱动要使用com.mysql.cj.jdbc.Driver
• URL中也要注意： serverTimezone： 时区 allowPublicKeyRetrieval：公匙验证 这两个必须要这么写 并且不可少 要不然连接报错
• 将url中的&修改为&

<dataConfig>
    <!-- 数据库信息 -->
    <dataSource type="JdbcDataSource" 
        driver="com.mysql.cj.jdbc.Driver" 
        url="jdbc:mysql://172.16.2.134:3306/pd_store?userSSL=true&amp;useUnicode=true&amp;characterEncoding=UTF8&amp;useSSL=false&amp;serverTimezone=GMT%2B8&amp;allowPublicKeyRetrieval=true" 
        user="root" password="root"/>
    <document>
        <!-- document实体 -->
        <entity name="item" query="SELECT * FROM pd_item">
            <!-- 数据库字段映射solr字段 -->
            <field column="title" name="title"/>
            <field column="sell_point" name="sellPoint"/>
            <field column="price" name="price"/>
            <field column="barcode" name="barcode"/>
            <field column="image" name="image"/>
            <field column="cid" name="cid"/>
            <field column="status" name="status"/>
            <field column="created" name="created"/>
            <field column="updated" name="updated"/>
        </entity>
    </document>
</dataConfig>
~             

重启 solr

cd /usr/local/solr-8.0.0
bin/solr restart -force

刷新一下，点击dataimport，可以看到右侧已经出现了相关信息

然后可以导入数据了，最后选择自动刷新信息，这样可看到数据导入的情况

配置没问题的情况下，可以看到右侧的信息会改变，包含了数据传输的速率和导入的总数据量，若没有出现，请再次确认配置信息

查询测试

在标题中查找 电脑
可以看到有10条数据，在这有可能你就怀疑这到底对不对呢
那我们用navicat测试一下：可以看到确实是10条

加粗样式用双引号查找完整词 “笔记本”，仔细查看所有数据，可以发现，不管是title还是sellPoint字段只要有笔记本的都会查询到
搜索 +lenovo +电脑,这个查询的就是同时包含Lenovo和电脑关键词的所有信息

搜索 +lenovo -电脑,这个查询的就是包含Lenovo但不包含电脑 关键词的所有信息

统计 cid，用于统计cid字段的信息，就是统计cid每个值的数量
将参数修改为*:*

在最后可以看到信息，格式为：“cid”:[数量]

还可以加条件，比如统计的cid值大于50,加入参数：facet.mincount=50

看结果，可以发现所有的cid值都大于50

价格范围
在 Raw Query Parameters 输入框中填入以下内容:

facet.range=price&facet.range.start=0&facet.range.end=10000&facet.range.gap=2000

意思就是统计价格范围为0~10000，并已2000为递增，统计各个价格的总数目

看一下结果

多字段统计
在 **Raw Query Parameters** 输入框中填入以下内容:

facet.pivot=cid,status

看一下结果：可以看到信息非常详细

6.实践

看一下我的项目： GitHub地址

运行，查看首页
这跟普遍的电子商城的页面几乎都一样，也有搜索功能，那我们使用solr实现
商品检索调用分析

pom.xml 添加 solr 和 lombok 依赖

<dependency>
	<groupId>org.springframework.boot</groupId>
	<artifactId>spring-boot-starter-data-solr</artifactId>
</dependency>

<dependency>
	<groupId>org.projectlombok</groupId>
	<artifactId>lombok</artifactId>
</dependency>

application.yml 添加 solr 连接信息

spring:
  data:
    solr:   #注意修改ip地址
      host: http://192.168.64.170:8983/solr/pd

Item 实体类

@Data
public class Item implements Serializable {
		private static final long serialVersionUID = 1L;
		
		@Field("id")
		private String id;
		@Field("title")
		private String title;
		@Field("sellPoint")
		private String sellPoint;
		@Field("price")
		private Long price;
		@Field("image")
		private String image;

}

SearchService 业务接口

public interface SearchService {
	List<Item> findItemByKey(String key) throws Exception;
}

SearchServiceImpl 业务实现类

@Service
public class SearchServiceImpl implements SearchService {
	
	/*
	 * SolrClient实例是在 SolrAutoConfiguration 类中创建的
	 * 
	 * SolrAutoConfiguration添加了@Configuration注解,
	 * 是spring boot自动配置类,其中的solrClient()方法中创建了SolrClient实例
	 */
	@Autowired
	private SolrClient solrClient;

	@Override
	public List<Item> findItemByKey(String key) throws Exception {
		//封装查询的关键词
		//也可以封装其他的查询参数,比如指定字段,facet设置等
		SolrQuery query = new SolrQuery(key);
		//查询前多少条数据
		query.setStart(0);
		query.setRows(20);
		
		//执行查询并得到查询结果
		QueryResponse qr = solrClient.query(query);
		//把查询结果转成一组商品实例
		List<Item> beans = qr.getBeans(Item.class);
		return beans;
	}
}

SearchController 控制器

@Controller
public class SearchController {
	@Autowired
	private SearchService searchService;
	
	@GetMapping("/search/toSearch.html")
	public String search(String key, Model model) throws Exception {
		List<Item> itemList = searchService.findItemByKey(key);
		model.addAttribute("list", itemList);
		return "/search.jsp";
	}
}

若想实现跟控制台一样的效果呢？
比如我想实现参数为title:电脑的效果，我们上面测试了共有10个数据
代码应该怎么写呢？

	@Override
	public List<Item> findItemByKey(String key) throws Exception {
		//封装查询的关键词
		//也可以封装其他的查询参数,比如指定字段,facet设置等
//		SolrQuery query = new SolrQuery(key);
		SolrQuery query = new SolrQuery();
		//查询前多少条数据
		query.setStart(0);
		query.setRows(20);
		query.setQuery("title:"+key);
		//执行查询并得到查询结果
		QueryResponse qr = solrClient.query(query);
		//把查询结果转成一组商品实例
		List<Item> beans = qr.getBeans(Item.class);
		return beans;
	}
}

看一下结果：一共10个数据。
可以看出，要想实现多种多样的搜索结果，只需拼接不同的条件，那我们可以提前根据需求去编写一个专用的接口，这样就能满足实际需求。