Solor集群——SolorCloud

1. 简介

        SolrCloud(solr 云)是Solr提供的分布式搜索方案，当你需要大规模，容错，分布式索引和检索能力时使用 SolrCloud。当索引量很大，搜索请求并发很高，这时需要使用SolrCloud来满足这些需求。
         SolrCloud是基于Solr和Zookeeper的分布式搜索方案，它的主要思想是使用Zookeeper作为集群的配置信息中心。
它有几个特色功能：

1）集中式的配置信息

2）自动容错

3）近实时搜索

4）查询时自动负载均衡

2. solr集群的系统架构

2.1 物理结构

就是若干个Solr实例（ 每个实例包括两个Core），组成一个SolrCloud

2.1.1  master和slave

        Master是master-slave结构中的主结点（通常说主服务器），Slave是master-slave结构中的从结点（通常说从服务器或备服务器）。同一个Shard下master和slave存储的数据是一致的，这是为了达到高可用目的。

2.1.2 Core

        每个Core是Solr中一个独立运行单位，提供 索引和搜索服务。一个shard需要由一个Core或多个Core组成。由于collection由多个shard组成所以collection一般由多个core组成。

2.2 逻辑结构

        索引集合包括两个Shard（分片），分片1和分片2分别由三个Core组成，其中一个Leader（主）两个Replication（从），Leader是由zookeeper选举产生，zookeeper控制每个shard上三个Core的索引数据一致，解决高可用问题。
        用户发起索引请求分别从shard1和shard2上获取，解决高并发问题

2.2.1 collection

        Collection在SolrCloud集群中是一个逻辑意义上的完整的索引结构。它常常被划分为一个或多个Shard（分片），它们使用相同的配置信息。
比如：针对商品信息搜索可以创建一个collection。
 collection=shard1+shard2+....+shardX

2.2.2 shard

        Collection的逻辑分片。每个Shard被化成一个或者多个replication，通过选举确定哪个是Leader。

3. solr集群的搭建

整体结构图如下：

Zookeeper作为集群管理工具：

1）集群管理：容错、负载均衡

2）配置文件的集中管理

3）集群入口：

主要实现zookeeper高可用，需要搭建zookeeper集群，建议是奇数节点，需要三个zookeeper服务器

搭建solr集群需要7台服务器（搭建伪分布式，建议虚拟机内存1G以上）

需要3个zookeeper节点

需要4个tomcat节点

3.1 搭建准备工作

1）搭建zookeeper集群

2）将已经部署完solr的tomcat上传到Linux

3）在Linux上创建文件夹/usr/clusor/solr，创建4个Tomcat实例

4）将本地的solrhome上传到Linux

5）在Linux中创建文件夹/usr/clusor/solrhomes，将solrhome复制4份

6）修改每个solr的web.xml文件，关联solrhome

7）修改每一个tomcat的原运行端口8005  8080  8009  分别为

8185  8180  8109

8285  8280  8209

8385  8380  8309

注意：

1. 8005 端口：用来关闭tomcat服务器的端口

2. 8080 端口：负责建立HTTP连接，在通过浏览器访问tomcat服务器的web应用时，使用的是就是该端口

3. 8009 端口：负责和其他的HTTP服务器建立连接，在把tomcat与其他的HTTP服务器集成时，就需要使用到这个连接器。

3.2 配置集群

3.2.1 修改tomcat配置

修改每个tomcat实例bin目录下的catalina.sh文件，将下面的配置添加到catalina.sh文件中（文件中有多个JAVA_OPTS变量，查找被注释的那个JAVA_OPTS="$JAVA_OPTS -Dorg.apache.catalina.security.SecurityListener.UMASK=`umask`"，将这个注释放开，改成如下配置）

JAVA_OPTS="-DzkHost=192.168.25.130:2181,192.168.25.130:2182,192.168.25.130:2183"

如图：

 注意：JAVA_OPTS就是用来设置JVM相关运行参数的变量，此配置用于在tomcat启动时找到zookeeper集群。

3.2.2 配置SolrCloud相关

在每个solrhome下都有一个solr.xml，把其中的IP及端口号配置好（是对应的tomcat的IP和端口号），如图：

1）solrhome1修改

第一个solr对应第一个tomcat，所以端口与主机配置第一个tomcat的主机地址与端口，配置如下：

2）solrhome2修改

第二个solr对应第一个tomcat，所以端口与主机配置第二个tomcat的主机地址与端口，配置如下：

3）solrhome3修改

第三个solr对应第一个tomcat，所以端口与主机配置第三个tomcat的主机地址与端口，配置如下：

4）solrhome4修改

第四个solr对应第一个tomcat，所以端口与主机配置第四个tomcat的主机地址与端口，配置如下：

3.2.3 配置文件的集中式管理——zookeeper管理配置

让zookeeper统一管理配置文件，需要把solrhome下collection1/conf 目录上传到zookeeper。上传任意solrhome中的配置文件即可。

我们需要使用solr给我们提供的工具上传配置文件，工具地址为：solr/example/scripts/cloud-scripts/zkcli.sh，如图：

操作步骤：

1）将solr压缩文件上传到Linux服务器并解压，如图：

2）进入example/scripts/cloud-scripts/目录，可以看到solr的zookeeper连接工具zkcli.sh

3）执行如下命令：

./zkcli.sh -zkhost 192.168.25.130:2181,192.168.25.130:2182,192.168.25.130:2183 -cmd upconfig -confdir /usr/clusor/solrhomes/solrhome-1/collection1/conf -confname myconf

出现如下提示表示上传成功

 

注意：执行命令前需要保证zookeeper集群处于启动状态中。

注意：命令解释

1. -zkhost：zookeeper地址列表
2. -cmd：表示命令
3. upconfig：表示上传配置
4. -cmd upconfig：表示指定命令upconfig上传配置文件
5. -confdir：表示配置文件目录，后面接配置文件具体地址
6. -confname：为配置起个名字

4）查看zook上的配置文件：使用zookeeper目录下的bin/zkCli.sh命令查看zookeeper上的配置文件

使用命令：./zkCli.sh，如图：

注意：

1. 如果默认端口不是2181，要是用连接命令server

./zkCli.sh -server 192.168.25.130:2181

 -server：指定IP地址，IP后面跟端口号

2. 退出使用命令quit

3.3 启动集群

1）启动每个tomcat实例，solr集群自动就启动了

2）访问集群，在浏览器输入任意一个tomcat的url都可以，例如：http://192.168.25.130:8180/solor ，当界面出现如下图所示，表示集群启动成功

进入cloud，可以看到集群信息，如图：

这个collection1就是整个索引库

shard1表示分片，目前分片只有一个

黑色的ip代表leader

4. 项目连接集群

        在solrJ中提供了一个叫做CloudSolrServer的类，它是SolrServer的子类，用于连接solrCloud，它的构造参数就是zookeeper的地址列表，另外要求指定defaultCollection属性（默认的collection名称）。

        这时候，只需要将之前的单机版的配置改成集群版的就可以了，配置如下所示：

5. 设置集群分片

5.1 创建新的Collection

创建新的Collection进行分片处理，在浏览器输入以下地址，创建新的Collection

http://192.168.25.130:8180/solor/admin/collections?action=CREATE&name=collection2&numShards=2&replicationFactor=2

参数：

action：表示执行的动作

name：将被创建的集合的名字

numShards：集合创建时需要创建逻辑碎片的个数

replicationFactor：分片的副本数即从节点的总个数。

5.2 删除分片

我们也可以删除新建的索引，例如：

http://192.168.25.130:8180/solor/admin/collections?action=DELETE&name=collection2