solr是什么?
solr是Apache下的一个顶级开源项目,采用Java开发,它是基于Lucene(是一个开放源代码的全文检索引擎工具包)的全文搜索服务器。Solr提供了比Lucene更为丰富的查询语言,同时实现了可配置、可扩展,并对索引、搜索性能进行了优化。
solr的工作方式
文档通过Http利用XML /JSON加到一个搜索集合中。Solr查询该集合也是通过http收到一个XML/JSON响应来实现。它的主要特性包括:高效、灵活的缓存功能,垂直搜索功能,高亮显示搜索结果,通过索引复制来提高可用性,提供一套强大Data Schema来定义字段,类型和设置文本分析,提供基于Web的管理界面等。
solr的服务原理
在Solr中,用户通过向部署在servlet 容器中的Solr Web应用程序发送 HTTP 请求来启动索引和搜索。
Solr接受请求,确定要使用的适当SolrRequestHandler,然后处理请求。通过 HTTP 以同样的方式返回响应。
默认配置返回Solr的标准 XML 响应,也可以配置Solr的备用响应格式。
solr的安装及配置
solr的版本:4.10.3 (下载链接:点击打开链接)
Linux、Jdk1.7/8、tomcat7
安装solr:
第一步:创建/home/solr 目录
[root@solr home]# mkdir solr
第二步:安装tomcat,把tomcat解压到/home/solr/tomcat
[root@solr ~]# tar -zxvf apache-tomcat-7.0.81.tar.gz -C /home/solr/tomcat
第三步:把solr的压缩包上传到服务器。并解压到~/training/目录下(解压的目录可自己定义)
[root@solr ~]# tar -zxvf solr-4.10.3.tgz.tgz -C training/
第四步:把/root/solr-4.10.3/dist/solr-4.10.3.war包部署到tomcat下。并改名为solr.war
[root@solr ~]# cp training/solr-4.10.3/dist/solr-4.10.3.war /home/solr/tomcat/webapps/solr.war
第五步:解压war包。启动tomcat自动解压。关闭tomcat。删除solr.war
第六步:把/root/training/solr-4.10.3/example/lib/ext 目录下所有的jar包复制到solr工程中。
[root@solr webapps]# cp /root/training/solr-4.10.3/example/lib/ext/*
/home/solr/tomcat/webapps/solr/WEB-INF/lib/
第六步:创建solrhome。solrhome是存放solr服务器所有配置文件的目录。
[root@solr ~]# cp -r ~/training/solr-4.10.3/example/solr /home/solr/solrhome
第七步:告诉solr服务器solrhome的位置。
需要修改solr工程的web.xml文件。(如果没有告诉solr服务器solrhome的位置,则打不开solr web客户端)
第八步:启动tomcat。(打不开网页的注意防火墙是否开放8080端口)
http://192.168.168.128:8080/solr
中文分析器的配置
中文分析器下载地址:点击打开链接
第一步:使用IK-Analyzer。把分析器的文件夹上传到服务器。
第二步:需要把分析器的jar包添加到solr工程中。
[root@solr ~]# cd IK\ Analyzer\ 2012FF_hf1/
[root@solr IK Analyzer 2012FF_hf1]# cp IKAnalyzer2012FF_u1.jar /home/solr/tomcat/webapps/solr/WEB-INF/lib/
第三步:在/home/solr/tomcat/webapps/solr/WEB-INF/创建classes目录
[root@solr IK Analyzer 2012FF_hf1]# cd /home/solr/tomcat/webapps/solr/WEB-INF/
[root@solr WEB-INF]# mkdir classes
第四步:需要把IKAnalyzer需要的扩展词典及停用词词典、配置文件复制到solr工程的classpath(WEB-INF/classes)。
[root@solr IK Analyzer 2012FF_hf1]# cp IKAnalyzer.cfg.xml ext_stopword.dic mydict.dic /home/solr/tomcat/webapps/solr/WEB-INF/classes
注意:扩展词典及停用词词典的字符集必须是utf-8。不能使用windows记事本编辑。
第五步:配置fieldType。需要在solrhome/collection1/conf/schema.xml中配置。重启tomcat
技巧:使用vi、vim跳转到文档开头gg。跳转到文档末尾:G
<fieldType name="text_ik" class="solr.TextField"> <analyzer class="org.wltea.analyzer.lucene.IKAnalyzer"/> </fieldType> |
业务字段配置(该步骤可根据自己的业务来进行配置)
业务字段判断标准:
1、在搜索时是否需要在此字段上进行搜索。例如:商品id、商品标题、商品最早有效时间、商品最晚有效时间、商户名称、商品类型、国家名称、商户id。
需要用到的字段:
1、商品id
2、商品标题
3、商品最早有效时间
4、商品最晚有效时间
5、商户名称
6、商品类型
7、国家名称
8、商户id
Solr中的业务字段:
1、id——》商品id
其他的对应字段创建solr的字段。
<field name="productId" type="int" indexed="true" stored="true"/>
<field name="productTitle" type="text_ik" indexed="true" stored="true"/>
<field name="productValidStart" type="string" indexed="false" stored="true"/>
<field name="productValidEnd" type="string" indexed="false" stored="true"/>
<field name="merchantName" type="text_ik" indexed="true" stored="true" />
<field name="productType" type="string" indexed="false" stored="true" />
<field name="countryName" type="text_ik" indexed="true" stored="true" />
<field name="merchantId" type="long" indexed="true" stored="false" />
<field name="product_keywords" type="text_ik" indexed="true" stored="false" multiValued="true"/>
<copyField source="productTitle" dest="product_keywords"/>
<copyField source="merchantName" dest="product_keywords"/>
<copyField source="productType" dest="product_keywords"/>
<copyField source="countryName" dest="product_keywords"/>
对于上面的名词作解释:
name:是solr的字段名称。
stored="false": 不存储,也就是不展示,但是可作为查询条件。
type="text_ik":是中文分析器类型,可以进行分词搜索,如果是string或者long等,就不进行分词搜索。
indexed="true": 索引,可以使得一个field可以被搜索。
name="product_keywords": 关键字,把几个字段合在一起作为一个字段进行搜索。这个是solr本身的一种优化。
multiValued:一个field有多个值,值来自同一filed,默认是false
把以上的field业务字段配置到solrhome/collection1/conf/schema.xml中。重启tomcat。
维护索引库
1、添加:添加一个json格式的文件就可以。
{
"id":1,
"productId":1,
"productTitle":"测试商品1",
"productValidStart":"2018-01-01",
"productValidEnd":"2018-08-08",
"merchantName":"携程",
"productType":"美食",
"countryName":"新加坡",
"merchantId":"10"
}
2、修改:在solr中是没有update,只需要添加一个新的文档,要求文档id和被修改文档的id一致。原理是先删除后添加。
3、删除:使用xml格式。
删除两种方法:
1、根据id删除:
<delete>
<id>1</id>
</delete>
<commit/>
2、根据查询删除:(*:*是表示所有的key和value 都删除)
<delete>
<query>*:*</query>
</delete>
<commit/>
到此为止,solr的简单介绍、安装和web端的简单使用就讲到这里。
后续还会继续更新solrJ(solr的java客户端)的使用以及如何配置solr集群。
此文章为原创,转载需说明原出处,谢谢。