Linux系列之solr集群版环境搭建（六）

SolrCloud简介

    SolrCloud是solr提供的分布式搜索方案，当需要大规模容错、分布式索引和检索能力时使用。当一个系统的索引数量少时，不需要使用SolrCloud；当索引量很大，搜索请求并发很高时，需要使用SolrCloud。

   SolrCloud是基于Solr和Zookeeper的分布式搜索方案，它的主要思想是使用Zookeeper作为集群的配置信息中心。

它有几个特色功能：

1） 集中式的配置信息

2） 自动容错

3） 近实时搜索

4） 查询时自动负载均衡

Zookeeper简介

    顾名思义zookeeper就是动物园管理员，他是用来管理hadoop（大象）、Hive（蜜蜂）、pig（小猪）的管理员，Apache Hbase和Apache Solr的分布式集群都用到了zookeeper。Zookeeper是一个分布式的、开源的程序协调服务，是hadoop项目下的一个子项目。

   zookeeper：集群管理工具，集群入口。

1. 集群管理

主从的管理、负载均衡、高可用的管理。集群的入口。Zookeeper必须是集群才能保证高可用。Zookeeper有选举和投票的机制。集群中至少应该有三个节点。

2. 配置文件的集中管理

搭建solr集群时，需要把Solr的配置文件上传zookeeper，让zookeeper统一管理。每个节点都到zookeeper上取配置文件。

3. 分布式锁

SolrCloud结构

   SolrCloud为了降低单击的处理压力，需要由多态服务器共同来完成索引的搜索任务。实现的思路是将索引数据进行Shard（分片）拆分，每个分片由多态服务器共同完成，当一个索引或搜索请求过来时，会分别从不同的shard的服务器中操作索引。

   SolrCloud需要Solr基于Zookeeper部署，Zookeeper是一个集群管理软件，由于SolrCloud需要由多台服务器组成，由zookeeper来进行协调管理。

搭建步骤

Zookeeper集群搭建

第一步：需要把zookeeper-3.4.6.tar.gz的安装包上传到服务器。

第二步：把zookeeper解压：tar –zxvfzookeeper-3.4.6.tar.gz

第三步：把zookeeper向/usr/local/solr-cloud目录下复制三份。

第三步：配置zookeeper。

   1.在zookeeper01目录下创建一个data文件夹。

   2.在data目录下创建一个myid的文件

   3.myid的内容为1（02对应“2”，03对应“3”）

   在data文件夹下建立一个myid文件，并在myid文件中，写入内容1

   4.zookeeper02、03以此类推。

   5.进入conf文件，把zoo_sample.cfg文件改名为zoo.cfg；或者复制zoo_sample.cfg一份，并命名为zoo.cfg

 

   6.修改zoo.cfg，把dataDir=属性指定为刚创建的data文件夹。

  （本demo路径：/usr/local/solr-cloud/zookeeper01/data/）

   7.修改zoo.cfg，把clientPort指定为不冲突的端口号（01:2181、02:2182、03:2183）

  （2181：这个端口是客户端连接端口

   8.在zoo.cfg中添加如下内容：

   server.1=192.168.33.10:2881:3881

   server.2=192.168.33.10:2882:3882

   server.3=192.168.33.10:2883:3883

   （这个端口是服务器连接端口，不能重复）

第四步：启动zookeeper。

Zookeeper的目录下有一个bin目录。使用zkServer.sh启动zookeeper服务。

启动命令：./zkServer.sh start

另一种启动zookeeper的方式：./zkServer.sh start-foreground    //这种启动方式，能够查看zookeeper的日志

关闭命令：./zkServer.sh stop

查看服务状态：./zkServer.sh status

 

Solr集群搭建

第一步：安装四个tomcat，修改其端口号不能冲突。8080~8083

端口号分别修改为：8005-8006-8007-8008

                  8080-8081-8082-8083

                  8009-8010-8011-8012

第二步：向tomcat下部署solr。把单机版的solr工程复制到tomcat下即可。

   （将单机版的solr/tomcat/webapps下的solr复制到solr-cloud/tomcat01/webapps/下面）

第三步：为每个solr实例创建一solrhome。

   将单机版的solr/下的solrhome复制到solr-cloud/目录下,分别命名为solrhome01-solrhome04

第四步：为每个solr实例关联对应的solrhome。修改web.xml（为tomcat关联solrhome）

   修改solr-cloud/tomcat01/webapps/solr/WEB-INF/web.xml文件

第五步：修改每个solrhome下的solr.xml文件。修改host、hostPort两个属性。分别是对应的ip及端口号。

    host：当前实例运行的ip地址

    port：当前实例运行的端口号，是当前tomcat的端口号

第六步：把配置文件上传到zookeeper。需要使用

/root/solr-4.10.3/example/scripts/cloud-scripts/zkcli.sh命令上传配置文件。

把/usr/local/solr-cloud/solrhome01/collection1/conf目录上传到zookeeper。

需要zookeeper集群已经启动。

   （上传任意一个）

./zkcli.sh -zkhost 192.168.33.10:2181,192.168.33.10:2182,192.168.33.10:2183 -cmd upconfig -confdir /usr/local/solr-cloud/solrhome01/collection1/conf -confname myconf

第七步：查看是否上传成功。

使用zookeeper的zkcli.sh命令。

    zkcli.sh存在位置：/usr/local/solr-cloud/zookeeper01/bin

（注：zookeeper只要连接上任意节点，就行了）

第八步：告诉solr实例zookeeper的位置。需要修改tomcat的catalina.sh添加    (tomcat/bin/catalina.sh)

JAVA_OPTS="-DzkHost=192.168.33.10:2181,192.168.33.10:2182,192.168.33.10:2183"

   在使用JAVA_OPTS之前添加这句话：

   每个节点都需要添加。

第九步：启动每个solr实例。

   使用脚本，启动所有solr实例

vi start-all.sh

查看启动日志 ：tail -f tomcat01/logs/catalina.out

查看solrCloud搭建是否成功，使用浏览器查看solr，点击Cloud可以看到solr集群

第十步：集群分片。

将集群分为两片，每片两个副本。（numShards：分成两片；replicationFactor：两个副本）

在浏览器中运行下面的链接：

http://192.168.33.10:8080/solr/admin/collections?action=CREATE&name=collection2&numShards=2&replicationFactor=2

 看到success，就说明成功了。

拆分结果：

第十一步：删除不用collection1

在浏览器中打开下面的链接：

http://192.168.33.10:8080/solr/admin/collections?action=DELETE&name=collection1

   看到success，就说明成功了。

删除之后的效果：

问题解决

问题一：查看zookeeper服务状态时，报错：Error contacting service. It is probably not running.

   启动没有问题，但是查看solr集群状态时，总是报错。solr明明显示已经起来了，但是查看solr状态时，却提示没有启动：

原因：因为zookeeper集群，配置的数量若为3，则至少启动两个才能正常使用，所以，当你启动了两个zookeeper之后，再回来查看刚刚的zookeeper状态，发现已经启动了。

解决办法：启动的zookeeper数目一定要是配置zookeeper数目的一半以上，zookeeper才能正常启动。

问题二：用日志方式启动zookeeper时，报错：

Unexpected exception, exiting abnormally

java.net.BindException: Address already in use

原因：端口被占用

解决方法：1、如果使用ps aux|grep 2181，查看不到端口被占用。

          2、使用lsof -i:2181命令查看端口占用情况

          3、若执行lsof -i:2181命令提示：-bash: lsof: command not found 

          4、执行yum install lsof命令

          5、再查看端口占用情况，停调被占用的端口，即可。

问题三：启动solr集群后，浏览器打开solr链接，报错：

原因：正如问题一一样，显示zookeeper已经启动成功了，但实际，没有真正启动成功。

解决办法：重新启动