- SolrCloud
2.1 SolrCloud 简介
2.1.1 什么是 SolrCloud
SolrCloud(solr 云)是 Solr 提供的分布式搜索方案,当你需要大规模,容错,分布式索引和检索能力时使用 SolrCloud。当一个系统的索引数据量少的时候是不需要使用 SolrCloud 的,当索引量很大,搜索请求并发很高,这时需要使用 SolrCloud 来满足这些需求。
SolrCloud 是基于 Solr 和 Zookeeper 的分布式搜索方案, 它的主要思想是使用
Zookeeper 作为集群的配置信息中心。
它有几个特色功能:
1)集中式的配置信息
2)自动容错
3)近实时搜索
4)查询时自动负载均衡
2.1.2 SolrCloud系统架构
【1】物理结构
三个 Solr 实例( 每个实例包括两个 Core),组成一个 SolrCloud。
【2】逻辑结构
索引集合包括两个 Shard(shard1 和 shard2),shard1 和 shard2 分别由三个 Core 组成,其中一个 Leader 两个 Replication,Leader 是由 zookeeper 选举产生,zookeeper 控制每个 shard 上三个 Core 的索引数据一致,解决高可用问题。
用户发起索引请求分别从 shard1 和 shard2 上获取,解决高并发问题。
(1) Collection
Collection 在 SolrCloud 集群中是一个逻辑意义上的完整的索引结构。它常常被划分为一个或多个 Shard(分片),它们使用相同的配置信息。
比如:针对商品信息搜索可以创建一个 collection。collection=shard1+shard2+....+shardX
(2) Core
每个 Core 是 Solr 中一个独立运行单位,提供 索引和搜索服务。一个 shard 需要由一个
Core 或多个 Core 组成。由于 collection 由多个 shard 组成所以 collection 一般由多个
core 组成。
(3) Master 或 Slave
Master 是 master-slave 结构中的主结点(通常说主服务器),Slave 是 master-slave 结构中的从结点(通常说从服务器或备服务器)。同一个 Shard 下 master 和 slave 存储的数据是一致的,这是为了达到高可用目的。
(4) Shard
Collection 的逻辑分片。每个 Shard 被化成一个或者多个 replication,通过选举确定哪个是
Leader。
2.2 搭建 SolrCloud
2.2.1 搭建要求
Zookeeper 作为集群的管理工具
1、集群管理:容错、负载均衡。
2、配置文件的集中管理
3、集群的入口
需要实现 zookeeper 高可用,需要搭建 zookeeper 集群。建议是奇数节点。需要三个
zookeeper 服务器。
搭建 solr 集群需要 7 台服务器(搭建伪分布式,建议虚拟机的内存 1G 以上): 需要三个 zookeeper 节点
需要四个 tomcat 节点。
2.2.2 准备工作
环境准备
CentOS-6.5-i386-bin-DVD1.iso jdk-7u72-linux-i586.tar.gz apache-tomcat-7.0.47.tar.gz zookeeper-3.4.6.tar.gz
solr-4.10.3.tgz
步骤:
(1)搭建 Zookeeper 集群(我们在上一小节已经完成)
(2)将已经部署完 solr 的 tomcat 的上传到 linux
(3)在 linux 中创建文件夹 /usr/local/solr-cloud 创建 4 个 tomcat 实例
[root@localhost ~]# mkdir /usr/local/solr-cloud
[root@localhost ~]# cp -r tomcat-solr /usr/local/solr-cloud/tomcat-1
[root@localhost ~]# cp -r tomcat-solr /usr/local/solr-cloud/tomcat-2
[root@localhost ~]# cp -r tomcat-solr /usr/local/solr-cloud/tomcat-3
[root@localhost ~]# cp -r tomcat-solr /usr/local/solr-cloud/tomcat-4
(4)将本地的 solrhome 上传到 linux
(5)在 linux 中创建文件夹 /usr/local/solrhomes ,将 solrhome 复制 4 份
[root@localhost ~]# mkdir /usr/local/solrhomes
[root@localhost ~]# cp -r solrhome /usr/local/solrhomes/solrhome-1
[root@localhost ~]# cp -r solrhome /usr/local/solrhomes/solrhome-2
[root@localhost ~]# cp -r solrhome /usr/local/solrhomes/solrhome-3
[root@localhost ~]# cp -r solrhome /usr/local/solrhomes/solrhome-4
(6)修改每个 solr 的 web.xml 文件, 关联 solrhome
<env-entry>
<env-entry-name>solr/home</env-entry-name>
<env-entry-value>/usr/local/solrhomes/solrhome-1</env-entry-value>
<env-entry-type>java.lang.String</env-entry-type>
</env-entry>
(7)修改每个 tomcat 的原运行端口 8085 8080 8009 ,分别为
8185
8180
8109
8285
8280
8209
8385
8380
8309
8485
8480
8409
------ 知识点小贴士 ------
8005 端口是用来关闭 TOMCAT 服务的端口。
8080 端口,负责建立 HTTP 连接。在通过浏览器访问 Tomcat 服务器的 Web 应用时,使用的就是这个连接器。
8009 端口,负责和其他的 HTTP 服务器建立连接。在把 Tomcat 与其他 HTTP 服务器集成时,就需要用到这个连接器。
转载于:https://blog.51cto.com/13517854/2139328