SolrCloud简介
在这里插入代码片SolrCloud(solr 云)是 Solr 提供的分布式搜索方案,当你需要大规模,容错,分布式索引和检索能力时使用 SolrCloud。当一个系统的索引数据量少的时候是不需要使用 SolrCloud的,当索引量很大,搜索请求并发很高,这时需要使用 SolrCloud 来满足这些需求。
SolrCloud 是基于 Solr
和Zookeeper
的分布式搜索方案,它的主要思想是使用 Zookeeper作为集群的配置信息中心。
SolurCloud主要有以下几个特色功能
- 集中式的配置信息
- 自动容错
- 近实时搜索
- 查询时自动负载均衡
SolorCloud系统架构
1、物理结构
三个 Solr 实例( 每个实例包括两个 Core),组成一个 SolrCloud。
2、逻辑结构
索引集合包括两个 Shard(shard1 和 shard2),shard1 和 shard2 分别由三个 Core 组成,其中一个 Leader 两个 Replication,Leader 是由 zookeeper 选举产生,zookeeper 控制每个shard上三个 Core 的索引数据一致,解决高可用问题。
用户发起索引请求分别从 shard1 和 shard2 上获取,解决高并发问题。
2.1、Collection
Collection 在 SolrCloud 集群中是一个逻辑意义上的完整的索引结构。它常常被划分为一个或多个 Shard(分片),它们使用相同的配置信息。
比如:针对商品信息搜索可以创建一个 collection。
collection=shard1+shard2+…+shardX
2.2、Core
每个 Core 是 Solr 中一个独立运行单位,提供索引和搜索服务。一个 shard 需要由一个Core 或多个 Core 组成。由于 collection 由多个 shard 组成所以 collection 一般由多个 core 组成。
2.3、Master或 Slave
Master 是 master-slave 结构中的主结点(通常说主服务器),Slave 是 master-slave 结构中的从结点(通常说从服务器或备服务器)。同一个 Shard 下 master 和 slave 存储的数据是一致的,这是为了达到高可用目的。
2.4、Shard
Collection 的逻辑分片。每个 Shard 被化成一个或者多个 replication,通过选举确定哪个是 Leader。
搭建SolrCloud
本次搭建的solor架构
Zookeeper作为集群管理工具
1、集群管理:容错、负载均衡。
2、配置文件的集中管理
3、集群的入口
需要实现 zookeeper 高可用,需要搭建zookeeper集群。建议是奇数节点。需要三个 zookeeper 服务器。
- 搭建 solr 集群需要 7 台服务器(这里同样是伪分布式)
- 需要三个Zookeeper节点
- 需要四个Tomcat节点。
准备工作
1、环境准备
- Linux Centos服务器(本次使用腾讯云)
- JDK1.8
- Tomcat8.5
- Zookeeper3.4.10
- Solor4.10.3
2、搭建步骤
2.1、搭建Zookeeper集群(已单独搭建好,请参考上篇文章:链接地址)
2.2、上传部署完成Solor的tomcat的上传到服务器(Solor部署请参考我的SOlor搭建:链接地址)
2.3、在服务器上创建文件夹 /usr/local/solr-cloud
创建4个tomcat实例
mkdir /usr/local/solr-cloud
cp -r apache-tomcat-solr /usr/local/solr-cloud/tomcat-1
cp -r apache-tomcat-solr /usr/local/solr-cloud/tomcat-2
cp -r apache-tomcat-solr /usr/local/solr-cloud/tomcat-3
cp -r apache-tomcat-solr /usr/local/solr-cloud/tomcat-4
2.4、上传solorhome到服务器
2.5、在服务器创建文件夹 /usr/local/solrhomes
,将solrhome复制4份
mkdir /usr/local/solrhomes
cp -r solrhome /usr/local/solrhomes/solrhome-1
cp -r solrhome /usr/local/solrhomes/solrhome-2
cp -r solrhome /usr/local/solrhomes/solrhome-3
cp -r solrhome /usr/local/solrhomes/solrhome-4
2.6、修改每个solr的web.xml文件,关联solrhome,对应目录/usr/local/solr-cloud/tomcat-1/webapps/solr/WEB-INF/web.xml
,每个tomcat的对应每个solorhome。
<env-entry>
<env-entry-name>solr/home</env-entry-name>
<env-entry-value>/usr/local/solrhomes/solrhome-1</env-entry-value>
<env-entry-type>java.lang.String</env-entry-type>
</env-entry>
2.7、修改每个tomcat的端口,原端口分别为 8085 8080 8009。对应目录/usr/local/solr-cloud/tomcat-1/conf/server.xml
。
8005端口是用来关闭TOMCAT服务的端口。
8080端口,负责建立HTTP连接。在通过浏览器访问Tomcat服务器的Web应用时,使用的就是这个连接器。
8009端口,负责和其他的HTTP服务器建立连接。在把Tomcat与其他HTTP服务器集成时,就需要用到这个连接器。
修改:tomcat-1 8185 8180 8109
修改:tomcat-2 8285 8280 8209
修改:tomcat-3 8385 8380 8309
修改:tomcat-4 8485 8480 8409
每个一一对应
<Server port="8105" shutdown="SHUTDOWN">
<Connector port="8180" protocol="HTTP/1.1" connectionTimeout="20000" redirectPort="8443" />
<Connector port="8109" protocol="AJP/1.3" redirectPort="8443" />
集群配置
1、修改每个tomcat实例bin目录下的 catalina.sh
文件。
添加以下配置(位置大概在230到300行之间)
JAVA_OPTS="-DzkHost=119.29.181.129:2181,119.29.181.129:2182,119.29.181.129:2183"
- JAVA_OPTS 是用来设置JVM相关运行参数的变量。此配置用于在tomcat启动时找到 zookeeper集群。
2、配置好solrCloud相关的配置,第个solrhome下都有一个solr.xml,把IP及端口号配置好(对应的是tomcat的IP和端口) - /usr/local/solrhomes/solrhome-1/solr.xml
<solrcloud>
<str name="host">119.29.181.129</str>
<int name="hostPort">8180</int>
<str name="hostContext">${hostContext:solr}</str>
<int name="zkClientTimeout">${zkClientTimeout:30000}</int>
<bool name="genericCoreNodeNames">${genericCoreNodeNames:true}</bool>
</solrcloud>
- /usr/local/solrhomes/solrhome-2/solr.xml
<solrcloud>
<str name="host">119.29.181.129</str>
<int name="hostPort">8280</int>
<str name="hostContext">${hostContext:solr}</str>
<int name="zkClientTimeout">${zkClientTimeout:30000}</int>
<bool name="genericCoreNodeNames">${genericCoreNodeNames:true}</bool>
</solrcloud>
- /usr/local/solrhomes/solrhome-3/solr.xml
<solrcloud>
<str name="host">119.29.181.129</str>
<int name="hostPort">8380</int>
<str name="hostContext">${hostContext:solr}</str>
<int name="zkClientTimeout">${zkClientTimeout:30000}</int>
<bool name="genericCoreNodeNames">${genericCoreNodeNames:true}</bool>
</solrcloud>
- /usr/local/solrhomes/solrhome-4/solr.xml
<solrcloud>
<str name="host">119.29.181.129</str>
<int name="hostPort">8480</int>
<str name="hostContext">${hostContext:solr}</str>
<int name="zkClientTimeout">${zkClientTimeout:30000}</int>
<bool name="genericCoreNodeNames">${genericCoreNodeNames:true}</bool>
</solrcloud>
3、让 zookeeper 统一管理配置文件。需要把 solrhome下collection1/conf 目录上传到zookeeper。上传任意 solrhome 中的配置文件即可。
这里我们需要使用到solr提供的工具上传配置文件,下载solr-4.10.3解压,进到solr-4.10.3/example/scripts/cloud-scripts
目录
wget http://archive.apache.org/dist/lucene/solr/4.10.3/solr-4.10.3.tgz
tar -xzvf solr-4.10.3.taz
cd solr-4.10.3/example/scripts/cloud-scripts
执行命令
./zkcli.sh -zkhost 119.29.181.129:2181,119.29.181.129:2182,119.29.181.129:2183 -cmd upconfig -confdir /usr/local/solrhomes/solrhome-1/collection1/conf -confname myconf
参数解释
-zkhost:指定zookeeper地址列表
-cmd:指定命令。upconfig 为上传配置的命令
-confdir:配置文件所在目录
-confname:配置名称
启动集群
1、启动每个tomcat实例,要保证Zookeeper集群是启动状态。
这边需要注意一个问题,需要给solr-cloud
文件夹授权,不授权的情况下不能执行启动文件。
chmod -R 777 solr-cloud
看到变成绿色即可执行
启动
tomcat-1/bin/startup.sh
tomcat-2/bin/startup.sh
tomcat-3/bin/startup.sh
tomcat-4/bin/startup.sh
2、访问集群
地址栏输入 http://ip:8180/solr
,可以看到以下界面,就说明搭建成功。
此时可以看到有一个主节点,三个从节点。
SpringDataSolr连接SolorCloud
在SolorJ中提供一个叫做CloudSolrServer的类,它是SolrServer的子类,用于连接solrCloud 它的构造参数就是zookeeper的地址列表,另外它要求要指定defaultCollection属性(默认的 collection名称)
修改工程的Solor配置文件
<!-- solr集群服务器地址 -->
<bean id="solrServer" class="org.apache.solr.client.solrj.impl.CloudSolrServer">
<constructor-arg value="119.29.181.129:2181,119.29.181.129:2182,119.29.181.129:2183"></constructor-arg>
<property name="defaultCollection" value="collection1"></property>
</bean>
<!-- solr模板,使用solr模板可对索引库进行CRUD的操作 -->
<bean id="solrTemplate" class="org.springframework.data.solr.core.SolrTemplate">
<constructor-arg ref="solrServer" />
</bean>
分片配置
1、创建新的 Collection 进行分片处理,在浏览器输入以下地址,可以按照我们的要求 创建新的Collection。
http://119.29.181.129:8180/solr/admin/collections?action=CREATE&name=collection2&numShards=2&replicationFactor=2
参数解释
- name:将被创建的集合的名字
- numShards:集合创建时需要创建逻辑碎片的个数
- replicationFactor:分片的副本数。
看到success表示分片成功
2、删除不用的 Collection1。执行命令
http://119.29.181.129:8180/solr/admin/collections?action=DELETE&name=collection1
删除成功会看到
模拟集群异常测试
1、停止第一个tomcat节点,看查询是否能正常工作 – 能!因为还有从节点
2、停止第三个tomcat节点,看看查询能够正常工作 – 不能,因为整个一片数据全没了,无法正常工作。
3、恢复第三个tomcat节点,看看能否正常工作。–能!因为节点重新恢复了。