Linux --- SolrCloud集群搭建

一、SolrCloud概述

    SolrCloud(solr 云)是 Solr 提供的分布式搜索方案，当你需要大规模，容错，分布式索引和检索能力时使用 SolrCloud。当一个系统的索引数据量少的时候是不需要使用 SolrCloud的，当索引量很大，搜索请求并发很高，这时需要使用 SolrCloud 来满足这些需求。

 

    SolrCloud 是基于 Solr 和Zookeeper的分布式搜索方案，它的主要思想是使用 Zookeeper作为集群的配置信息中心。

它有几个特色功能：

 

• 集中式的配置信息
• 自动容错
• 近实时搜索
• 查询时自动负载均衡

 

二、SolrCloud系统架构

2.1、物理结构
三个 Solr 实例（ 每个实例包括两个 Core），组成一个 SolrCloud。

 

2.2、逻辑结构

 

    索引集合包括两个 Shard（shard1 和 shard2），shard1 和 shard2 分别由三个 Core 组成，其中一个 Leader 两个 Replication，Leader 是由 zookeeper 选举产生，zookeeper 控制每个shard上三个 Core 的索引数据一致，解决高可用问题。

 

用户发起索引请求分别从 shard1 和 shard2 上获取，解决高并发问题。

 

 

(1)Collection  
    Collection 在 SolrCloud 集群中是一个逻辑意义上的完整的索引结构。它常常被划分为一个或多个 Shard（分片），它们使用相同的配置信息。
比如：针对商品信息搜索可以创建一个 collection。
collection=shard1+shard2+....+shardX

 

 

(2)Core 

 

    每个 Core 是 Solr 中一个独立运行单位，提供 索引和搜索服务。一个 shard 需要由一个Core 或多个 Core 组成。由于 collection 由多个 shard 组成所以 collection 一般由多个 core 组成。

 

 

(3)Master 或 Slave

 

    Master 是 master-slave 结构中的主结点（通常说主服务器），Slave 是 master-slave 结构中的从结点（通常说从服务器或备服务器）。同一个 Shard 下 master 和 slave 存储的数据是一致的，这是为了达到高可用目的。

 

 

(4)Shard

 

    Collection 的逻辑分片。每个 Shard 被化成一个或者多个 replication，通过选举确定哪个是 Leader。

 

 

三、SolrCloud搭建

3.1、 环境VM CentOS7

分配2台虚拟机用于搭建SolrCloud

CentOS04：192.168.1.102

CentOS05：192.168.1.106

 

注意：CentOS01-CentOS03用于搭建Zookeeper集群

 

3.2、搭建准备步骤

(1) Linux安装Tomcat --- 略过

(2) Tomcat安装Solr、IK等 --- 略过

(3) 在Linux中创建文件夹

mkdir /usr/local/solr-cloud

(4) 复制已经配置好Solr的tomcat至solr-cloud --- CentOS04和CentOS05都执行该操作

cp -r apache-tomcat-solr /usr/local/solr-cloud/tomcat-1
cp -r apache-tomcat-solr /usr/local/solr-cloud/tomcat-2

(5) 在Linux中创建solrhomes --- CentOS04和CentOS05都执行该操作

mkdir /usr/local/solrhomes

(6) 复制已经配置的solrhome

cp -r solrhome /usr/local/solrhomes/solrhome-1
cp -r solrhome /usr/local/solrhomes/solrhome-2

(7) 进入/usr/local/solr-cloud/tomcat-1/webapps/solr/WEB-INF，修改web.xml的solrhome配置，其他tomcat配置同理

<env-entry>
           <env-entry-name>solr/home</env-entry-name>
           <env-entry-value>/usr/local/solrhomes/solrhome-1</env-entry-value>
           <env-entry-type>java.lang.String</env-entry-type>
        </env-entry>

(8) 修改tomcat-1端口，其他tomcat端口修改同理

<Server port="8105" shutdown="SHUTDOWN">
....
<Connector port="8180" protocol="HTTP/1.1"
	connectionTimeout="20000"
               redirectPort="8443" />
....
<Connector port="8109" protocol="AJP/1.3" redirectPort="8443" />
....

说明：

(1) 第一个端口是tomcat服务器关闭端口

(2) 第二个端口是tomcat访问端口

(3) 第三个端口是tomcat与apche交互端口

 

3.3、搭建步骤

(1) 在tomcat-1/bin目录中修改catalina.sh文件配置 --- 其他tomcat修改同理

把JAVA_OPTS的值修改成：(配置大概在234行)

JAVA_OPTS="-DzkHost=192.168.1.103:2181,192.168.1.104:2181,192.168.1.105:2181"

JAVA_OPTS ,顾名思义,是用来设置JVM相关运行参数的变量 .  此配置用于在tomcat启动时找到 zookeeper集群。

(2) 修改/solrhomes/solrhome-1的solr.xml文件 --- 其他solr.xml修改同理

<solr>

  <solrcloud>
    <str name="host">192.168.1.102</str>
    <int name="hostPort">8180</int>
    <str name="hostContext">${hostContext:solr}</str>
    <int name="zkClientTimeout">${zkClientTimeout:30000}</int>
    <bool name="genericCoreNodeNames">${genericCoreNodeNames:true}</bool>
  </solrcloud>

  <shardHandlerFactory name="shardHandlerFactory"
    class="HttpShardHandlerFactory">
    <int name="socketTimeout">${socketTimeout:0}</int>
    <int name="connTimeout">${connTimeout:0}</int>
  </shardHandlerFactory>

</solr>

配置说明：

host：指向的是tomcat-1的主机名

hostPort：指向的是tomcat-1的port端口号

(3)让zookeeper 统一管理配置文件。--- 只需要执行一次即可，任意collection

需要把 solrhome下collection1/conf 目录上传到zookeeper。上传任意 solrhome 中的配置文件即可。

 

 

我们需要使用solr给我们提供的工具上传配置文件：

solr-4.10.3/example/scripts/cloud-scripts/zkcli.sh

 

将solr-4.10.3压缩包上传到linux，解压

tar zxvf solr-4.10.3

 

然后进入

 

solr-4.10.3/example/scripts/cloud-scripts目录 ，执行下列命令

./zkcli.sh -zkhost 192.168.1.103:2181,192.168.1.104:2181,192.168.1.105:2181 -cmd upconfig -confdir /usr/local/solrhomes/solrhome-1/collection1/conf -confname myconf

说明：

-zkhost --- 指定zookeeper地址列表
-cmd --- 指定命令。upconfig 为上传配置的命令
-confdir --- 配置文件所在目录
-confname --- 配置名称
 

(4) 启动solr，即启动tomcat

如果遇到没有授权，授权即可

chmod -R 777 /usr/local/solr-cloud

(5) 访问solr

http://192.168.1.102:8180/solr，如果出现cloud说明集群搭建成功，如下图：(异常可以忽略，与集群搭建无关)

 

四、应用程序连接SolrCloud集群

 

    在SolrJ中提供一个叫做CloudSolrServer的类，它是SolrServer的子类，用于连接

solrCloud ，它的构造参数就是zookeeper的地址列表，另外它要求要指定

defaultCollection属性（默认的 collection名称）

<!-- solr服务器地址
	<solr:solr-server id="solrServer" url="http://192.168.25.129:8080/solr" />
	 -->	
	<bean id="solrServer" class="org.apache.solr.client.solrj.impl.CloudSolrServer">
		<constructor-arg value="192.168.1.103:2181,192.168.1.104:2181,192.168.1.105:2181" />
		<property name="defaultCollection" value="collection1"></property>
	</bean>

 

五、分片配置

 

(1) 创建新的Collection进行分片处理

在浏览器输入以下地址，创建新的Collection

http://192.168.1.102:8180/solr/admin/collections?action=CREATE&name=collection2&numShards=2&replicationFactor=2

参数说明：

 

• name:将被创建的集合的名字
• numShards:集合创建时需要创建逻辑碎片的个数
• replicationFactor:分片的副本数。

(2) 删除不用的 Collection。执行以下命令

http://192.168.1.102:8180/solr/admin/collections?action=DELETE&name=collection1