Solr搭建

Solr简介

大多数搜索引擎应用都必须具有某种搜索功能，问题是搜索功能往往是巨大的资源消耗并且它们由于沉重的数据库加载而拖垮你的应用的性能。

这就是为什么转移负载到一个外部的搜索服务器是一个不错的主意，Apache Solr是一个流行的开源搜索服务器，它通过使用类似REST的HTTP API，这就确保你能从几乎任何编程语言来使用solr。

Solr是一个开源搜索平台，用于构建搜索应用程序。 它建立在Lucene(全文搜索引擎)之上。 Solr是企业级的，快速的和高度可扩展的。 使用Solr构建的应用程序非常复杂，可提供高性能。

Solr可以和Hadoop一起使用。由于Hadoop处理大量数据，Solr帮助我们从这么大的源中找到所需的信息。不仅限于搜索，Solr也可以用于存储目的。像其他NoSQL数据库一样，它是一种非关系数据存储和处理技术。

安装

1：安装 Tomcat，解压缩即可。

2：解压 solr。

3：把 solr 下的dist目录solr-4.10.3.war部署到 Tomcat\webapps下(去掉版本号)。

4：启动 Tomcat解压缩 war 包

5：把solr下example/lib/ext 目录下的所有的 jar 包，添加到 solr 的工程中(\WEB-INF\lib目录下)。

6：创建一个 solrhome 。solr 下的/example/solr 目录就是一个 solrhome。复制此目录到D盘改名为solrhome 

7：关联 solr 及 solrhome。需要修改 solr 工程的 web.xml 文件。

<env-entry> <env-entry-name>solr/home</env-entry-name> <env-entry-value>d:\solrhome</env-entry-value> <env-entry-type>java.lang.String</env-entry-type> </env-entry>

8：启动 Tomcat

http://IP:8080/solr/

中文分词器IK Analyzer配置

IK Analyzer 是一个开源的，基亍 java 语言开发的轻量级的中文分词工具包。从 2006年 12 月推出 1.0 版开始， IKAnalyzer 已经推出了 4 个大版本。最初，它是以开源项目Luence 为应用主体的，结合词典分词和文法分析算法的中文分词组件。从 3.0 版本开始，IK 发展为面向 Java 的公用分词组件，独立亍 Lucene 项目，同时提供了对 Lucene 的默认优化实现。在 2012 版本中，IK 实现了简单的分词歧义排除算法，标志着 IK 分词器从单纯的词典分词向模拟语义分词衍化。

配置：

1、把IKAnalyzer2012FF_u1.jar 添加到 solr 工程的 lib 目录下

2、创建WEB-INF/classes文件夹把扩展词典、停用词词典、配置文件放到 solr 工程的 WEB-INF/classes 目录下。

3、修改 Solrhome 的 schema.xml 文件，配置一个 FieldType，使用 IKAnalyzer

<fieldType name="text_ik" class="solr.TextField"> <analyzer class="org.wltea.analyzer.lucene.IKAnalyzer"/> </fieldType>

配置域

域相当于数据库的表字段，用户存放数据，因此用户根据业务需要去定义相关的Field（域），一般来说，每一种对应着一种数据，用户对同一种数据进行相同的操作。

域的常用属性：

• name：指定域的名称
• type：指定域的类型
• indexed：是否索引
• stored：是否存储
• required：是否必须
• multiValued：是否多值

修改solrhome的schema.xml 文件设置业务系统 Field

<field name="item_goodsid" type="long" indexed="true" stored="true"/>          <field name="item_title" type="text_ik" indexed="true" stored="true"/>          <field name="item_price" type="double" indexed="true" stored="true"/>

复制域

复制域的作用在于将某一个Field中的数据复制到另一个域中，多关键字查询

<field name="item_keywords" type="text_ik" indexed="true"stored="false"multiValued="true"/> <copyField source="item_title" dest="item_keywords"/> <copyField source="item_brand" dest="item_keywords"/>

动态域

当我们需要动态扩充字段时，我们需要使用动态域。对于{ key : [ value1,value2 ... ]}可以使用动态域

<dynamicField name="item_spec_*" type="string" indexed="true" stored="true" />

SolrCloud搭建

注：这里是一种模拟情况，在一台计算机上搭建的。但是一定要区分

（1）搭建Zookeeper集群（我们在上一小节已经完成）

（2）将已经部署完solr 的tomcat的上传到linux

（3）在linux中创建文件夹 /usr/local/solr-cloud  创建4个tomcat实例

[root@localhost ~]# mkdir /usr/local/solr-cloud
[root@localhost ~]# cp -r tomcat-solr /usr/local/solr-cloud/tomcat-1
[root@localhost ~]# cp -r tomcat-solr /usr/local/solr-cloud/tomcat-2
[root@localhost ~]# cp -r tomcat-solr /usr/local/solr-cloud/tomcat-3
[root@localhost ~]# cp -r tomcat-solr /usr/local/solr-cloud/tomcat-4

（4）将本地的solrhome上传到linux

（5）在linux中创建文件夹 /usr/local/solrhomes ,将solrhome复制4份

[root@localhost ~]# mkdir /usr/local/solrhomes
[root@localhost ~]# cp -r solrhome /usr/local/solrhomes/solrhome-1
[root@localhost ~]# cp -r solrhome /usr/local/solrhomes/solrhome-2
[root@localhost ~]# cp -r solrhome /usr/local/solrhomes/solrhome-3
[root@localhost ~]# cp -r solrhome /usr/local/solrhomes/solrhome-4

（6）修改每个solr的 web.xml 文件, 关联solrhome

<env-entry> <env-entry-name>solr/home</env-entry-name> <env-entry-value>/usr/local/solrhomes/solrhome-1</env-entry-value> <env-entry-type>java.lang.String</env-entry-type> </env-entry>

（7）修改每个tomcat的原运行端口8085 8080 8009  ，分别为

8185  8180  8109

8285  8280  8209

8385  8380  8309

8485  8480  8409

注：

8005端口是用来关闭TOMCAT服务的端口。　　

8080端口，负责建立HTTP连接。在通过浏览器访问Tomcat服务器的Web应用时，使用的就是这个连接器。

8009端口，负责和其他的HTTP服务器建立连接。在把Tomcat与其他HTTP服务器集成时，就需要用到这个连接器。

配置集群

 

（1）修改每个 tomcat实例 bin 目录下的 catalina.sh 文件

把此配置添加到catalina.sh中( 第234行 ) ：

JAVA_OPTS="-DzkHost=192.168.25.135:2181,192.168.25.135:2182,192.168.25.135:2183"

JAVA_OPTS ,顾名思义,是用来设置JVM相关运行参数的变量 .  此配置用于在tomcat启动时找到 zookeeper集群。

（2）配置 solrCloud 相关的配置。每个 solrhome 下都有一个 solr.xml，把其中的 ip 及端口号配置好（是对应的tomcat的IP和端口）。

solrhomes/solrhome-1/solr.xml

<solrcloud> <str name="host">192.168.25.135</str> <int name="hostPort">8180</int> <str name="hostContext">${hostContext:solr}</str> <int name="zkClientTimeout">${zkClientTimeout:30000}</int> <bool name="genericCoreNodeNames">${genericCoreNodeNames:true}</bool> </solrcloud>

其他的同上

（3）让 zookeeper 统一管理配置文件。需要把 solrhome下collection1/conf 目录上传到

zookeeper。上传任意 solrhome 中的配置文件即可。

我们需要使用solr给我们提供的工具上传配置文件：

solr-4.10.3/example/scripts/cloud-scripts/zkcli.sh

将solr-4.10.3压缩包上传到linux，解压，然后进入solr-4.10.3/example/scripts/cloud-scripts目录 ，执行下列命令

./zkcli.sh -zkhost 192.168.25.135:2181,192.168.25.135:2182,192.168.25.135:2183 -cmd upconfig
-confdir /usr/local/src/solr-cloud/solrhome01/collection1/conf -confname myconf

参数解释

-zkhost  ：指定zookeeper地址列表

-cmd    ：指定命令。upconfig 为上传配置的命令

-confdir  : 配置文件所在目录

-confname : 配置名称

启动集群

1. 启动每个 tomcat 实例。要保证 zookeeper 集群是启动状态访问集群

2. 地址栏输入http://192.168.25.135:8180/solr   ，可以看到Solr集群版的界面

   

分片配置

1. 创建新的 Collection 进行分片处理。

在浏览器输入以下地址，可以按照我们的要求创建新的Collection

http://192.168.25.135:8180/solr/admin/collections?action=CREATE&name=collection2&numShards=2&replicationFactor=2

参数：

name:将被创建的集合的名字
numShards:集合创建时需要创建逻辑碎片的个数
replicationFactor:分片的副本数。

      2.删除不用的 Collection。执行以下命令

http://192.168.25.135:8480/solr/admin/collections?action=DELETE&name=collection4

模拟异常

（1）停止第一个tomcat节点，看查询是否能正常工作  -- 能！因为还有从节点

（2）停止第三个tomcat节点，看看查询能够正常工作  -- 不能，因为整个一片数据全没了，无法正常工作。

（3）恢复第三个tomcat节点，看看能否正常工作。恢复时间会比较长，大概2分半到3分钟之间。请耐心等待。