全文检索 solr

全文检索 solr

网上学习黑马课程后，在原有笔记的基础上进行总结

课程计划

1. 电商搜索案例分析

2. Solr的安装及配置

   • Solr整合tomcat
   • Solr后台管理功能介绍
   • 配置中文分析器

3. 使用Solr的后台管理索引库

   • 添加文档
   • 删除文档
   • 修改文档
   • 查询文档

4. 使用SolrJ管理索引库

   • 添加文档
   • 修改文档
   • 删除文档
   • 查询文档

5. 电商搜索案例实现

   • 案例分析
   • 案例实现

1 什么是solr？

​ Solr 是 Apache 下的一个顶级开源项目，采用 Java 开发，它是基于Lucene的全文搜索服务器，Solr 提供了比Lucene更为丰富的查询语言，同事实现了可配置、可扩展、并对索引、搜索性能进行了优化。

​ Solr 可以独立运行，运行在 Jetty、Tomcat 等这些Servlet容器中，Solr 索引的实现方法很简单，用 Post 方法向 Solr 服务器发送一个描述 Field 及其内容的 XML 文档。Solr 根据 XML 文档添加、删除、更新索引。Solr 搜索只需要发送HTTP GET 请求，然后对Solr返回的Xml、json等格式的查询结果进行解析，组织页面布局。Solr 不提供构建UI的功能，Solr 提供了一个管理界面，通过管理界面可以查询 Solr 的配置和运行情况。

Solr 和 Lucene 的区别：

​ Lunece 是一个开放源代码的全文搜索引擎工具包，它不是一个完成的全文检索引擎。Lucene 提供了完成的查询引擎和索引引擎，目的是为软件开发人员提供一个简单易用的工具包，以方便在目标系统中实现全文检索的功能，或者以Lucene为基础构建全文检索引擎。

​ Solr 的目标是打造一款企业级的搜索引擎系统，它是一个搜索引擎服务，可以独立运行。通过Solr 可以非常快速的构建企业的搜索引擎，通过 Solr 也可以高效地完成站内搜索功能。

1.1 使用Lucene实现

​ 单独使用Lucene实现站内搜索需要开发的工作量较大，主要表现在：索引维护、索引性能优化、搜索性能优化等，因此不建议采用。

1.2 使用solr实现

​ 基于Solr实现站内搜索扩展性较好并且可以减少程序员的工作量，因为Solr提供了较为完备的搜索引擎解决方案，因此在门户、论坛等系统中常用此方案。

2 Solr 安装与配置

2.1 Solr 的下载

​ 从 Solr 官方网站（https://lucene.apache.org/solr/）下载 Solr 4.10.3。根据 Solr 的运行环境，Linux下需要下载 lucene-4.10.3.tgz，windows 下需要下载 lucene-4.10.3.zip

​ Solr 使用指南可参考：https://wiki.apache.org/solr/FrontPage.

2.2 Solr 的文件夹结构

• bin：solr 的运行脚本

• contrib：solr 的一些贡献软件/插件，用于增强 solr 的功能

• dist：该目录包含build过程中昌盛的war和jar文件，以及相关的依赖文件

• docs：solr 的 API 文件

• example：solr 工程的例子目录

  • example/solr：该目录是一个包含了默认配置信息的 Solr 的 Core 目录
  • example/multicore：该目录包含了在 Solr 的 multicore 中设置的多个 Core 目录
  • example/webapps：该目录中包含了一个 solr.war，该 war 可作为 solr 的运行实例工程

• licenses：solr 相关的一些许可信息

2.3 运行环境

​ Solr 需要运行在一个Servlet 容器中，Solr-4.10.3 要求jdk使用1.7以上，solr默认提供Jetty（Java写的Servlet容器），本教程使用Tomcat作为Servlet容器，环境如下：

​ Solr：solr-4.10.3

​ jdk：jdk 1.8

​ Tomcat：apache-tomcat 7

2.4 Solr 整合Tomcat

2.4.1 Solr Home 与 Solr Core

​ 创建一个 SolrHome 目录，SolrHome是Solr运行的主目录，目录中包括了运行Solr实例所有的配置文件和数据文件，Solr实例就是SolrCore，一个SolrHome可以包括多个SolrCore（Solr实例），每个SolrCore提供单独的搜索和索引服务。

​ example/solr 是一个solrhome的目录结构，如下：

​ 上图中“collection1”是一个SolrCore（Solr实例）目录，目录内容如下所示：

说明：

collection1：叫做一个Solr运行实例SolrCore，SolrCore名称不固定，一个solr运行实例对外单独提供索引和搜索接口。

solrHome中可以创建多个solr运行实例SolrCore。

一个solr的运行实例对应一个索引目录。

conf是SolrCore的配置文件目录 。

data目录存放索引文件需要创建

2.4.2 整合步骤

第一步：安装tomcat。D:\temp\apache-tomcat-7.0.53

第二步：把solr的war包复制到tomcat 的webapp目录下。

​ 把\solr-4.10.3\dist\solr-4.10.3.war复制到D:\temp\apache-tomcat-7.0.53\webapps下。

改名为solr.war

第三步：solr.war解压。使用压缩工具解压或者启动tomcat自动解压。解压之后删除solr.war

第四步：把\solr-4.10.3\example\lib\ext目录下的所有的jar包添加到solr工程中

第五步：配置solrHome和solrCore。

1. 创建一个solrhome（存放solr所有配置文件的一个文件夹）。\solr-4.10.3\example\solr目录就是一个标准的solrhome。

2. 把\solr-4.10.3\example\solr文件夹复制到D:\temp\0108路径下，改名为solrhome，改名不是必须的，是为了便于理解。

3. 在solrhome下有一个文件夹叫做collection1这就是一个solrcore。就是一个solr的实例。一个solrcore相当于mysql中一个数据库。Solrcore之间是相互隔离。

i. 在solrcore中有一个文件夹叫做conf，包含了索引solr实例的配置信息。

ii. 在conf文件夹下有一个solrconfig.xml。配置实例的相关信息。如果使用默认配置可以不用做任何修改。

Xml****的配置信息：

Lib：solr服务依赖的扩展包，默认的路径是collection1\lib文件夹，如果没有 就创建一个

dataDir：配置了索引库的存放路径。默认路径是collection1\data文件夹，如 果没有data文件夹，会自动创建。

requestHandler：

第六步：告诉solr服务器配置文件也就是solrHome的位置。修改web.xml使用jndi的方式告诉solr服务器。

Solr/home 名称必须是固定的。

第七步：启动tomcat

第八步：访问http://localhost:8080/solr/

2.5 Solr 后台管理

2.5.1 管理界面

2.5.2 Dashboard

​ 仪表盘，显示了该solr实例开始启动运行的时间、版本、系统资源、jvm等信息。

2.5.3 Logging

​ solr 运行日志信息

2.5.4 Cloud

​ Cloud，即SolrCloud，即 Solr 云（集群），当使用Solr Cloud 模式运行是会显示次菜单，如下图的 Solr Cloud 的管理界面。

2.5.4 Core Admin

​ Solr Core 的管理界面。Solr Core 是 Solr 的一个独立运行实例单位，它可以对外提供索引和搜索服务，一个Solr工程可以运行多个SolrCore（Solr 实例），一个Core对应一个索引目录。

添加：solrcore

1. 赋值collection1 改名为 collection2
2. 修改 core.properties，name=collection2
3. 重启 tomcat

2.5.6 java properties

​ solr 在 JVM 运行环境中的属性信息，包括：类路径、文件编码、jvm内存设置等信息。

2.5.7 Tread Dump

​ 显示 Solr Server 中当前活跃线程信息，同事也可以跟踪线程运行栈的信息

2.5.8 Core Selector

​ 选择一个SolrCore进行详细操作，如下：

2.5.9 Analysis

​ 通过此界面可以测试索引分析器和搜索分析器的执行情况。

2.5.10 Dataimport

​ 可以定义数据导入处理器，从关系数据库将数据导入到 Solr 索引库中。

2.5.11 Document

​ 通过此菜单可以创建索引，更新索引，删除索引等操作，界面如下：

​ /update表示更新索引，solr默认根据id（唯一约束）域来更新Document的内容，如果根据id值搜索不到id域则会执行添加操作，如果找到则更新。

​ **添加：**Document Type 选择 json 格式

{
   "id":"change.me","title":"change.me"}

​ **删除：**Document Type 选择 xml 格式

​ 删除某一个id

<delete>
    <id>1104032001</id>
</delete>
<commit/>

​ 删除某一个id

<delete>
    <query>id:1104032001</query>
</delete>
<commit/>

​ 删除所有：

<delete>
    <query>*:*</query>
</delete>
<commit/>

2.5.12 Query

​ 通过/select 执行搜索索引，必须指定“q”查询条件方可搜索。

2.6 配置中文分词器

2.6.1 Schema.xml

​ schema.xml，在SolrCore的conf目录下，它是Solr数据表配置文件，它定义了加入索引的数据的数据类型的。主要包括：FieldTypes、Fields 和 其他的一些缺省配置。

1. FieldType域类型定义

   <fieldType name="string" class="solr.StrField" sortMissingLast="true" />
   

   FieldType子结点包括：name,class,positionIncrementGap等一些参数：

   name：是这个FieldType的名称

   class：是Solr提供的包solr.TextField，solr.TextField 允许用户通过分析器来定制索引和查询，分析器包括一个分词器（tokenizer）和多个过滤器（filter）

   positionIncrementGap：可选属性，定义在同一个文档中此类型数据的空白间隔，避免短语匹配错误，此值相当于Lucene的短语查询设置slop值，根据经验设置为100。

   在FieldType定义的时候最重要的就是定义这个类型的数据在建立索引和进行查询的时候要使用的分析器analyzer,包括分词和过滤

   索引分析器中：使用solr.StandardTokenizerFactory标准分词器，solr.StopFilterFactory停用词过滤器，solr.LowerCaseFilterFactory小写过滤器。

   搜索分析器中：使用solr.StandardTokenizerFactory标准分词器，solr.StopFilterFactory停用词过滤器，这里还用到了solr.SynonymFilterFactory同义词过滤器。

2. Field定义

   在fields结点内定义具体的Field，filed定义包括name,type（为之前定义过的各种FieldType）,indexed（是否被索引）,stored（是否被储存），multiValued（是否存储多个值）等属性。

   如下：

   <field name="id" type="string" indexed="true" stored="true" required="true" multiValued="false" /> 
   

   multiValued：该Field如果要存储多个值时设置为true，solr允许一个Field存储多个值，比如存储一个用户的好友id（多个），商品的图片（多个，大图和小图），通过使用solr查询要看出返回给客户端是数组。

3. uniqueKey

   Solr中默认定义唯一主键key为id域，如下：

   <uniqueKey>id</uniqueKey>
   

4. copyField复制域

   copyField复制域，可以将多个Field复制到一个Field中，以便进行统一的检索：

   比如，输入关键字搜索title标题内容content，

   定义title、content、text的域：

   

   根据关键字只搜索text域的内容就相当于搜索title和content，将title和content复制到text中，如下：

   

   <copyField source="cat" dest="text"/>
   

5. dynamicField（动态字段）

   ​ 动态字段就是不用指定具体的名称，只要定义字段名称的规则，例如定义一个dynamicField，name 为*_i，定义它的type为text，那么在使用这个字段的时候，任何以_i结尾的字段都被认为是符合这个定义的，例如：name_i，gender_i，school_i等。

   ​ 自定义Field名为：product_title_t，“product_title_t”和scheam.xml中的dynamicField规则匹配成功，如下：

   

   <dynamicField name="*_i"  type="int"    indexed="true"  stored="true"/>
   

   创建索引：

   

   搜索索引：

   

2.6.2 安装中文分词器

​ 使用IKAnalyzer中文分词器。

​ 第一步：把IKAnalyzer2012FF_u1.jar添加到solr/WEB_INF/lib 目录下

​ 第二步：复制IKAnalyzer的配置文件和自定义词典和停用词词典到solr的classes目录下

​ 第三步：在schema.xml中添加一个自定义的fieldType，使用中文分词器

<fieldType name="text_ik" class="solr.TextField">
      <analyzer class="org.wltea.analyzer.lucene.IKAnalyzer" />
</fieldType> 

​ 第四步：定义field，指定field的type属性为text_ik

<field name="title_ik" type="text_ik" indexed="true" stored="true"/>
<field name="content_ik" type="text_ik" indexed="true" stored="false" multiValued="false"/>

​ 第五步：重启tomcat

2.7 设置业务系统 Field

​ 如果不使用 Solr 提供的 Field 可以针对具体的业务需要自定义一套Field，如下是商品信息 Field：

<field name="product_name" type="text_ik" indexed="true" stored="true"/>
<field name="product_price" type="float" indexed="true" stored="true"/>
<field name="product_description" type="text_ik" indexed="true" stored="false"/>
<field name="product_picture" type="string" indexed="false" stored="true"/>
<field name="product_catalog_name" type="string" indexed="true" stored="true"/>
<field name="product_keywords" type="text_ik" indexed="true" stored="false" multiValued="true"/>

<copyField source="product_name" dest="product_keywords"/>
<copyField source="product_description" dest="product_keywords"/>

3 Solr 管理索引库

3.1 维护索引

3.1.1 添加更新文档

​ 添加或更新单个文档

3.1.2 批量导入数据

使用datapoint 插件批量导入数据

第一步：把dataimport插件依赖的jar包添加到solrcore中