solrcloud集群搭建

  

1      什么是SolrCloud

 

1.1    什么是SolrCloud

 

SolrCloud(solr 云)是Solr提供的分布式搜索方案，当你需要大规模，容错，分布式索引和检索能力时使用 SolrCloud。当一个系统的索引数据量少的时候是不需要使用SolrCloud的，当索引量很大，搜索请求并发很高，这时需要使用SolrCloud来满足这些需求。

 

 

1.2    SolrCloud结构

     SolrCloud为了降低单机的处理压力，需要由多台服务器共同来完成索引和搜索任务。实现的思路是将索引数据进行Shard（分片）拆分，每个分片由多台的服务器共同完成，当一个索引或搜索请求过来时会分别从不同的Shard的服务器中操作索引。
     SolrCloud需要Solr基于Zookeeper部署，Zookeeper是一个集群管理软件，由于SolrCloud需要由多台服务器组成，由zookeeper来进行协调管理。

下图是一个SolrCloud应用的例子：

 

 

 

对上图进行图解，如下：

 

 

 

 

1.2.1 物理结构

三个Solr实例（ 每个实例包括两个Core），组成一个SolrCloud。

1.2.2 逻辑结构

索引集合包括两个Shard（shard1和shard2），shard1和shard2分别由三个Core组成，其中一个Leader两个Replication，Leader是由zookeeper选举产生，zookeeper控制每个shard上三个Core的索引数据一致，解决高可用问题。

用户发起索引请求分别从shard1和shard2上获取，解决高并发问题。

 

1.2.2.1collection

Collection在SolrCloud集群中是一个逻辑意义上的完整的索引结构。它常常被划分为一个或多个Shard（分片），它们使用相同的配置信息。

比如：针对商品信息搜索可以创建一个collection。

 collection=shard1+shard2+....+shardX

 

1.2.2.2Core

每个Core是Solr中一个独立运行单位，提供 索引和搜索服务。一个shard需要由一个Core或多个Core组成。由于collection由多个shard组成所以collection一般由多个core组成。

 

1.2.2.3Master或Slave

Master是master-slave结构中的主结点（通常说主服务器），Slave是master-slave结构中的从结点（通常说从服务器或备服务器）。同一个Shard下master和slave存储的数据是一致的，这是为了达到高可用目的。

 

1.2.2.4Shard

Collection的逻辑分片。每个Shard被化成一个或者多个replication，通过选举确定哪个是Leader。

 

2      SolrCloud搭建

 

SolrCloud结构图如下：

 

 

参考：“solrcloud搭建.docx”文档

 

 2.1环境准备

CentOS-6.5-i386-bin-DVD1.iso

       jdk-7u72-linux-i586.tar.gz

    apache-tomcat-7.0.57.tar.gz

    zookeeper-3.4.6.tar.gz

    solr-4.10.3.tgz

    服务器7台:

       zookeeper三台：192.168.0.5，192.168.0.6，192.168.0.7

       Solr四台：192.168.0.1，192.168.0.2，192.168.0.3，192.168.0.4

2.2    环境安装

 

2.2 环境安装

2.3 CentOs 6.5安装

略

安装2.4 jdk7安装

   略

2.5 zookeeper集群安装

2.5.1解压zookeeper 安装包

tar -zxvf zookeeper-3.4.6.tar.gz

将zookeeper-3.4.6拷贝到/usr/local下并将目录名改为zookeeper

至此zookeeper的安装目录为/usr/local/zookeeper

2.5.2 进入zookeeper文件夹,创建data 和logs

   创建目录并赋于写权限

   指定zookeeper的数据存放目录和日志目录

2.5.3 拷贝zookeeper配制文件zoo_sample.cfg

拷贝zookeeper配制文件zoo_sample.cfg并重命名zoo.cfg

cp /usr/local/zookeeper/conf/zoo_sample.cfg  /usr/local/zookeeper /conf/zoo.cfg

2.5.4 修改zoo.cfg

 加入 dataDir=/usr/local/zookeeper/data

        dataLogDir=/ usr/local/zookeeper/logs

             server.1=192.168.0.5:2888:3888

             server.2=192.168.0.6:2888:3888

          server.3=192.168.0.7:2888:3888

 

zoo.cfg配制完后如下:

 

# The number ofmilliseconds of each tick

tickTime=2000

# The number of ticksthat the initial

# synchronizationphase can take

initLimit=10

# The number of ticksthat can pass between

# sending a requestand getting an acknowledgement

syncLimit=5

# the directory wherethe snapshot is stored.

# do not use /tmp forstorage, /tmp here is just

# example sakes.

dataDir=/usr/local/zookeeper/data

# the port at whichthe clients will connect

clientPort=2181

# the maximum numberof client connections.

# increase this if youneed to handle more clients

#maxClientCnxns=60

#

# Be sure to read themaintenance section of the

# administrator guidebefore turning on autopurge.

#

#http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance

#

# The number ofsnapshots to retain in dataDir

#autopurge.snapRetainCount=3

# Purge task intervalin hours

# Set to "0"to disable auto purge feature

#autopurge.purgeInterval=1

#dataLogDir=/usr/local/zookeeper/logs

server.1=192.168.0.5:2888:3888

server.2=192.168.0.6:2888:3888

server.3=192.168.0.7:2888:3888