Apache SolrCloud介绍及安装

最新推荐文章于 2021-09-16 21:24:24 发布
最新推荐文章于 2021-09-16 21:24:24 发布
阅读量502 收藏
点赞数
分类专栏： 检索 文章标签： zookeeper solr

SolrCloud介绍
http://warm-breeze.iteye.com/blog/1887636

在我们应用还很渺小的时候，一台Solr服务器能完全胜任这份工作，随着我们应用慢慢长大，访问也越来越多，一台Solr服务器的弊病也逐渐显现如查询变慢了，机器宕机就无法继续提供服务，于是乎我们引入了Solr集群，通过前端负载均衡和索引Replication来分担一台机器的压力，这样既能提高查询速度，也能避免单机故障问题而且是可伸缩的解决方案，一切看起来很OK，问题也暂时解决了，但是好景不长，随着应用的发展，数据也在与日俱增，需要索引的数据也越来越多，索引文件变得越来越庞大，Replication索引变得越来越低效高成本，每个Solr实例都保存全量大索引数据的方式显然又成了系统性能和可伸缩性的瓶颈，如果能将大索引文件切分，分布在集群中不同机器中且查询的准确性和可用性又不会受到影响该是件多么美好的事情啊，于是SolrCloud出现了...
SolrCloud是基于ZooKeeper和Solr的分布式解决方案，为Solr添加分布式功能，用于建立高可用，高伸缩，自动容错，分布式索引，分布式查询的Solr服务器集群；SolrCloud并非一个新的软件发布包，而是Solr4.0版本新增组件用于跟ZooKeeper配合提供分布式功能，部署时只是修改启动配置；

SolrCloud安装
SolrCloud是一个分布式解决方案，安装之前需要我们评估自己应用的数据规模，规划SolrCloud集群如划分多少个Shard，每个Shard需要几分冗余即Replication等；通过下面的例子详细讲解下安装SolrCloud的过程；
0,准备条件：Apache Solr-4.2.0，Apache Tomcat 7.0.x，Apache ZooKeeper 3.4.5；
1,规划SolrCloud
单一SolrCloud数据集合(Collection):mycollection
ZooKeeper集群(ensemble):5台ZooKeeper服务器
3个SolrCloud实例节点，复制因子为3(即索引冗余数)
3个索引分片(Shard)分布在3个SolrCloud节点(node)上
手动将3个索引分片(Shard)的复本(Replica)分布在3个SolrCloud节点上

2,Solr安装
分别在192.168.1.1-3上搭建3个Solr服务器节点，如何在Tomcat容器下安装Solr可参照笔者的另外一篇文章，在此不再赘述；

3,ZooKeeper集群(ensemble)安装
3.1,下载Apache ZooKeeper 3.4.5；
3.2,解压zookeeper-3.4.5.tar.gz, tar -xvf zookeeper-3.4.5.tar.gz
3.3,创建ZooKeeper配置文件：将zookeeper_home/conf/zoo_sample.cfg重命名为zoo.cfg
3.4,修改ZooKeeper配置文件zoo.cfg如下：
  1. The number of milliseconds of each tick 
    tickTime=2000
  2. The number of ticks that the initial synchronization phase can take 
    initLimit=10
  3. The number of ticks that can pass between sending a request and getting an acknowledgement 
    syncLimit=5
  4. the directory where the snapshot is stored. Choose appropriately for your environment 
    dataDir=/home/myuser/zookeeper/data/
  5. the port at which the clients will connect 
    clientPort=2181
  6. the directory where transaction log is stored. this parameter provides dedicated log device for ZooKeeper dataLogDir=/home/myuser/zookeeper/log/
  7. ZooKeeper server and its port no. ZooKeeper ensemble should know about every other machine in the ensemble specify server id by creating 'myid' file in the dataDir 
    server.1=192.168.1.1:2888:3888
    server.2=192.168.1.2:2888:3888
    server.3=192.168.1.3:2888:3888
    server.4=192.168.1.4:2888:3888
    server.5=192.168.1.5:2888:3888
    为每个ZooKeeper服务器分配合适的id(用于标识ZooKeeper服务器)写入myid文件并将其放入dataDir文件夹中
    3.5,启动ZooKeeper服务器
  8. cd /zookeeper_home/bin/
  9. ./zkServer.sh start
    在192.168.1.2-5机器上重复以上步骤；完成ZooKeeper集群(ensemble)的搭建；

4,SolrCloud搭建
4.1,在192.168.1.1(可任选一台机器)上创建SolrCloud配置文件目录:/usr/local/solrcloud/config-files
4.2,在192.168.1.1(可任选一台机器)上创建Solr Zk CLI库文件目录:/usr/local/solrcloud/solr-lib
4.3,将solr example中的配置文件Copy到SolrCloud配置文件目录中:cp solr-4.2.0/example/solr/collection1/conf/* /usr/local/solrcloud/config-files
4.4,将solr.war WEB-INF/lib中的jar文件Copy到Solr Zk CLI库文件目录中:cp solr_home/WEB/lib/* /usr/local/solrcloud/solr-cli-lib
4.5,之所以能分布式是因为引入ZooKeeper来统一保存配置文件，故而需要将SolrCloud的配置文件上传到ZooKeeper中:
将配置文件上传到ZooKeeper中
java -classpath .:/usr/local/solrcloud/solr-lib/* org.apache.solr.cloud.ZkCLI -cmd upconfig -zkhost 192.168.1.1:2181,192.168.1.2:2181,192.168.1.3:2181,192.168.1.4:2181,192.168.1.5:2181 -confdir /usr/local/solrcloud/config-files/ -confname myconf
将上传到ZooKeeper中配置文件与Collection相关联
java -classpath .:/usr/local/solrcloud/solr-lib/* org.apache.solr.cloud.ZkCLI -cmd linkconfig -collection mycollection -confname myconf -zkhost 192.168.1.1:2181,192.168.1.2:2181,192.168.1.3:2181,192.168.1.4:2181,192.168.1.5:2181
可连上ZooKeeper查看上传的配置信息,5台ZooKeeper服务器可任选一台
cd zookeeper_home/bin
./zkCli.sh -server localhost:2181
执行查询命令: ls /configs/myconf,即可看到上传到ZooKeeper的所有配置信息
4.6,在3个Solr服务器节点(端口都为8080)上进行如下操作:
4.6.1,在solr.home中创建solr.xml文件内容如下:

<solr persistent="true" sharedLib="lib">
<cores adminPath="/admin/cores" zkClientTimeout="20000" hostPort="8080" hostContext="solr"></cores>
</solr>
4.6.2,在Tomcat启动时加上如下JVM参数:
"-Dsolr.solr.home=/usr/local/solr -DzkHost=192.168.1.1:2181,192.168.1.2:2181,192.168.1.3:2181,192.168.1.4:2181,192.168.1.5:2181" 
4.6.3,启动Tomcat: /usr/local/tomcat/bin/startup.sh
4.6.4,访问solr管理页: http://192.168.1.1:8080/solr,即可见如下界面(因为当前还未创建Collection及Core)

到此SolrCloud已经搭建好啦，不过里面啥也没有，需要配置好才能用;
4.7,在SolrCloud中创建数据集(Collection),分片(Shard(s)),复本(Replicas(s))
4.7.1,创建数据集(Collection)
curl 'http://192.168.1.1:8080/solr/admin/collections?action=CREATE&name=mycollection&numShards=3&replicationFactor=3&maxShardsPerNode=3'
name:数据集名称
numShards:分片数
replicationFactor:每个分片的复本数
maxShardsPerNode:每个Solr服务器节点上最大分片数(Solr 4.2新增)
4.7.2,将分片(Shards)复本(Replicas)分布在3个Solr服务器节点上
分片(Shard) 1 Replica's(Shard 1 Replica_1 at 192.168.1.2)
curl 'http://192.168.1.1:8080/solr/admin/cores?action=CREATE&name=mycollection_shard1_replica_2&collection=mycollection&shard=shard1'
curl 'http://192.168.1.3:8080/solr/admin/cores?action=CREATE&name=mycollection_shard1_replica_3&collection=mycollection&shard=shard1'

分片(Shard) 2 Replica's(Shard 2 Repkica_1 at 192.168.1.3)
curl 'http://192.168.1.1:8080/solr/admin/cores?action=CREATE&name=mycollection_shard2_replica_2&collection=mycollection&shard=shard2'
curl 'http://192.168.1.2:8080/solr/admin/cores?action=CREATE&name=mycollection_shard2_replica_3&collection=mycollection&shard=shard2'

分片(Shard) 3 Replica's(Shard 3 Repkica_1 at 192.168.1.1)
curl 'http://192.168.1.2:8080/solr/admin/cores?action=CREATE&name=mycollection_shard3_replica_2&collection=mycollection&shard=shard3'
curl 'http://192.168.1.3:8080/solr/admin/cores?action=CREATE&name=mycollection_shard3_replica_3&collection=mycollection&shard=shard3'

5,为SolrCloud创建索引，在SolrCloud上创建索引跟在单个Solr上创建索引方法一样，只不过SolrCloud会自动进行索引分片(Shard)和复制(Replica)；
如上篇文章中将MySQL中的数据导入到SolrCloud中
建全量索引，在浏览器中输入：http://i192.168.1.1:8080/solr/dataimport?command=full-import&commit=true
上述创建的全量索引会自动分片(Shard)，复制(Replica)到集群中的三个Solr服务器节点上；

6,在SolrCloud上进行查询
http://192.168.1.1:8080/solr/mycollection/select?q=*:*
q为查询关键字，修改q参数即可对SolrCloud中的所有索引数据进行查询(可通过监控每台Solr服务器节点的日子看到查询会在各个节点上进行，由此可知SolrCloud会将查询分配到各个节点上进行后将各个节点的查询结果汇总)；

总结，本文讲述了SolrCloud及其应用场景并通过搭建一个具有3个Solr服务器节点的SolrCloud来讲述如何搭建分布式搜索解决方案；通过参照本文的基本方法相信各位可以搭建任意规模的SolrCloud集群；

麦克是个程序员
关注
专栏目录
SolrCloud使用教程、原理介绍
iteye_16982的博客
03-26 410
SolrCloud 是基于 Solr 和 Zookeeper 的分布式搜索方案，是正在开发中的 Solr4.0 的核心组件之一，它的主要思想是使用 Zookeeper 作为集群的配置信息中心。 它有几个特色功能：①集中式的配置信息 ②自动容错 ③近实时搜索 ④查询时自动负载均衡。 下面看看 wiki 的文档： 1、SolrCloudSolrCloud 是指 Solr 中一套新的潜在的分发...
SolrCloud简介
july_2的专栏
12-11 1957
一.简介 SolrCloud是Solr4.0版本以后基于Solr和Zookeeper的分布式搜索方案。SolrCloud是Solr的基于Zookeeper一种部署方式。Solr可以以多种方式部署，例如单机方式，多机Master-Slaver方式。 二.特色功能 SolrCloud有几个特色功能： 集中式的配置信息使用ZK进行集中配置。启动时可以指定把Solr的相关配置文件上
SolrCloud简介和搭建指导
iteye_2022的博客
12-09 171
一、搜索集群架构简介 1.1整体功能描述 通过独立的zookeeper集群管理solrcloud集群。 Solrcloud集群负责索引的创建、查询、更新和删除操作。Solrcloud集群做sharding，每个sharding内做主从备份。 Search服务通过zookeeper集群获取solrcloud信息，向solrcloud提交用户信息索引请求，并向solrcloud提交用户信...
Solr云(SolrCloud)
互联网
01-26 190
SolrCloud只是作为Solr的一个突出特性，这个特殊的特性能够实现分布式功能。利用这个功能，你能建立高效、容错的Solr服务器群。这对于访问量规模巨大的企业级应用来说，使用SolrCloud能实现高有效性、容错性、分布式索引和搜索功能。 1了解SolrCloud 千呼万唤，始出来。期待已久，Solr4.1的版本终于发布了。Solr4包含的突出特性SolrCloud, 真的让...
solrcloud_role：安装Apache Solr（云）服务器集群的角色
02-02
这个角色可以在Debian环境中安装SolrCloud服务器。 入门 这些说明将为您提供ansible剧本的角色副本。 一旦启动，它将在Debian系统中安装服务器。 该角色在以下位置进行了测试： 德比安 伸展（Java 8和11） 克星...
solrcloud6安装配置
07-05
SolrCloud是Apache Solr的一种分布式部署模式，它利用Zookeeper进行集群管理和配置同步，提供高可用性和数据的水平扩展。在本篇中，我们将详细探讨如何安装配置SolrCloud 6。 首先，我们需要下载Solr 6.6.0的安装包...
SolrCloud 6.6 安装与配置教程
在这个指南中，我们将详细介绍如何在Linux环境中安装和配置SolrCloud 6.6。以下是安装和配置的主要步骤： 1. **下载Solr 6.6**: 从提供的链接（）下载Solr 6.6的安装包。这是初始安装的第一步。 2. **安装过程**:...
Apache Solr入门教程：从安装到SolrCloud应用
3. **动态集群**（SolrCloud）：Solr支持分布式搜索和索引复制，使得数据能够在多台服务器间分散，提高系统可用性和性能。 4. **数据库接口**：Solr可以与其他数据源集成，如关系型数据库，通过DataImportHandler...
SolrCloud介绍
zhanshenyn的专栏
11-18 183
概念 SolrCloud(Solr云)是Solr4.0版本开发出的具有开创意义的基于Solr和Zookeeper的分布式搜索方案，SolrCloud是Solr的一种部署方式。Solr可以以多种方式部署，例如单机方式，多机Master-Slaver方式，这些方式部署的Solr不具有SolrCloud的特色功能。 Lucene是一个Java语言编写的利用倒排原理实现的文本检索类库。Solr是以L...
四、SolrCloud的安装
zkq5168的专栏
09-16 415
安装Zookeeper 1.下载Zookeeper 官网地址：https://www.apache.org/dyn/closer.lua/zookeeper/zookeeper-3.6.3/apache-zookeeper-3.6.3-bin.tar.gz 或者也可访问地址：http://archive.apache.org/dist/zookeeper/ 自行选择版本下载 下载完Zookeeper的压缩包后，解压压缩包，目录结构如下： 打开conf目录，拷贝该目录下的zoo_sample.cfg文件为z
SolrCloud介绍和应用
特依依|专注J2ee开发、Solr、Solr4、Slorcloud、Lucene和大数据的挖掘技术
06-24 1442
SolrCloud是基于Solr和Zookeeper的分布式搜索方案，是正在开发中的Solr4.0（目前还是ALPHA版本,基于lucene4.0）的核心组件之一，它的主要思想是使用Zookeeper作为集群的配置信息中心。它有几个特色功能：1）集中式的配置信息 2）自动容错 3）近实时搜索 4）查询时自动负载均衡 。 下载地址：http://lucene.apache.org/solr/d
SolrCloud简介——solr 名词解释
Yoara的备忘录
03-08 1963
一.简介SolrCloud是Solr4.0版本以后基于Solr和Zookeeper的分布式搜索方案。SolrCloud是Solr的基于Zookeeper一种部署方式。Solr可以以多种方式部署，例如单机方式，多机Master-Slaver方式。二.特色功能SolrCloud有几个特色功能：集中式的配置信息使用ZK进行集中配置。启动时可以指定把Solr的相关配置文件上传Zookeeper，多机器共用。
SolrCloud集群简介
weixin_41113108的博客
04-15 269
SolrCloud(solr 云)是Solr提供的分布式搜索方案，当你需要大规模，容错，分布式索引和检索能力时使用 SolrCloud。当一个系统的索引数据量少的时候是不需要使用SolrCloud的，当索引量很大，搜索请求并发很高，这时需要使用SolrCloud来满足这些需求。 SolrCloud是基于Solr和Zookeeper的分布式搜索方案，它的主要思想是使用Zookeeper作为集群的配置...
SolrCloud
猪猪神功屁
04-24 261
  什么是SolrCloud?     SolrCloud(Solr云)是Solr提供的分布式搜索方案。当一个系统的索引量很大，搜索请求并发很高时，就需要使用SolrCloud来满足这些需求。     SolrCloud是基于Solr和Zookeeper的分布式方案，它的主要思想是使用Zookeeper作为集群的配置信息中心。它有如下几个特点：         1.集中式的配置信息；  ...
solrcloud搭建
BlackManba_LGLG的博客
01-17 399
结构图：环境：虚拟机一台(centos7.4/jdk1.7)材料：tomcat7、zookeeper（本文称作为zk）、solr需求：三个zookeeper节点、四个tomcat节点首先搭建zookeeper集群：1、 解压缩zk，在zk根目录新建一个data文件夹，在data文件夹中新建一个myid来指定当前zk集群id(图中最后一个命令应该为：echo 1>>myid)2、 修改zk根目录下的
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值