solrcloud

最新推荐文章于 2022-04-27 10:09:41 发布
最新推荐文章于 2022-04-27 10:09:41 发布
阅读量77 收藏
点赞数
原文链接：https://my.oschina.net/goudingcheng/blog/1792045
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

https://blog.csdn.net/lexang1/article/details/52496114

https://www.cnblogs.com/fengjian2016/p/5858320.html

 

 

SolrCloud是一个分布式解决方案，安装之前需要我们评估自己应用的数据规模，规划SolrCloud集群如划分多少个Shard，每个Shard需要几分冗余即Replication等；通过下面的例子详细讲解下安装SolrCloud的过程；

0,准备条件：

Apache Solr-4.2.0，Apache Tomcat 7.0.x，Apache ZooKeeper 3.4.5；

1,规划SolrCloud

单一SolrCloud数据集合(Collection):mycollection

ZooKeeper集群(ensemble):5台ZooKeeper服务器

3个SolrCloud实例节点，复制因子为3(即索引冗余数)

3个索引分片(Shard)分布在3个SolrCloud节点(node)上

手动将3个索引分片(Shard)的复本(Replica)分布在3个SolrCloud节点上

2,Solr安装

分别在192.168.1.1-3上搭建3个Solr服务器节点。

 

3,ZooKeeper集群(ensemble)安装

3.1,下载Apache ZooKeeper 3.4.5；

3.2,解压zookeeper-3.4.5.tar.gz, tar -xvf zookeeper-3.4.5.tar.gz

3.3,创建ZooKeeper配置文件：将zookeeper_home/conf/zoo_sample.cfg重命名为zoo.cfg

3.4,修改ZooKeeper配置文件zoo.cfg如下：

# The number of milliseconds of each tick

tickTime=2000

# The number of ticks that the initial synchronization phase can take

initLimit=10

# The number of ticks that can pass between sending a request and getting an acknowledgement

syncLimit=5

# the directory where the snapshot is stored. Choose appropriately for your environment

dataDir=/home/myuser/zookeeper/data/

# the port at which the clients will connect

clientPort=2181

# the directory where transaction log is stored.  this parameter provides dedicated log device for ZooKeeper dataLogDir=/home/myuser/zookeeper/log/

# ZooKeeper server and its port no. ZooKeeper ensemble should know about every other machine in the ensemble specify server id by creating 'myid' file in the dataDir

server.1=192.168.1.1:2888:3888

server.2=192.168.1.2:2888:3888

server.3=192.168.1.3:2888:3888

server.4=192.168.1.4:2888:3888

server.5=192.168.1.5:2888:3888

为每个ZooKeeper服务器分配合适的id(用于标识ZooKeeper服务器)写入myid文件并将其放入dataDir文件夹中

3.5,启动ZooKeeper服务器

# cd /zookeeper_home/bin/

# ./zkServer.sh start

在192.168.1.2-5机器上重复以上步骤；完成ZooKeeper集群(ensemble)的搭建；

 

4,SolrCloud搭建

4.1,在192.168.1.1(可任选一台机器)上创建SolrCloud配置文件目录:/usr/local/solrcloud/config-files

4.2,在192.168.1.1(可任选一台机器)上创建Solr Zk CLI库文件目录:/usr/local/solrcloud/solr-lib

4.3,将solr example中的配置文件Copy到SolrCloud配置文件目录中:cp solr-4.2.0/example/solr/collection1/conf/* /usr/local/solrcloud/config-files

4.4,将solr.war WEB-INF/lib中的jar文件Copy到Solr Zk CLI库文件目录中:cp solr_home/WEB/lib/* /usr/local/solrcloud/solr-cli-lib

4.5,之所以能分布式是因为引入ZooKeeper来统一保存配置文件，故而需要将SolrCloud的配置文件上传到ZooKeeper中:

将配置文件上传到ZooKeeper中

java -classpath .:/usr/local/solrcloud/solr-lib/* org.apache.solr.cloud.ZkCLI -cmd upconfig -zkhost 192.168.1.1:2181,192.168.1.2:2181,192.168.1.3:2181,192.168.1.4:2181,192.168.1.5:2181 -confdir /usr/local/solrcloud/config-files/ -confname myconf

将上传到ZooKeeper中配置文件与Collection相关联

java -classpath .:/usr/local/solrcloud/solr-lib/* org.apache.solr.cloud.ZkCLI -cmd linkconfig -collection mycollection -confname myconf -zkhost 192.168.1.1:2181,192.168.1.2:2181,192.168.1.3:2181,192.168.1.4:2181,192.168.1.5:2181

可连上ZooKeeper查看上传的配置信息,5台ZooKeeper服务器可任选一台

cd zookeeper_home/bin

./zkCli.sh -server localhost:2181

执行查询命令: ls /configs/myconf,即可看到上传到ZooKeeper的所有配置信息

4.6,在3个Solr服务器节点(端口都为8080)上进行如下操作:

4.6.1,在solr.home中创建solr.xml文件内容如下:

     

4.6.2,在Tomcat启动时加上如下JVM参数:

"-Dsolr.solr.home=/usr/local/solr -DzkHost=192.168.1.1:2181,192.168.1.2:2181,192.168.1.3:2181,192.168.1.4:2181,192.168.1.5:2181"

4.6.3,启动Tomcat: /usr/local/tomcat/bin/startup.sh

4.6.4,访问solr管理页: http://192.168.1.1:8080/solr,即可见提示没有core的界面(因为当前还未创建Collection及Core)

到此SolrCloud已经搭建好啦，不过里面啥也没有，需要配置好才能用;

4.7,在SolrCloud中创建数据集(Collection),分片(Shard(s)),复本(Replicas(s))

4.7.1,创建数据集(Collection)

curl 'http://192.168.1.1:8080/solr/admin/collections?action=CREATE&name=mycollection&numShards=3&replicationFactor=3&maxShardsPerNode=3'

name:数据集名称

numShards:分片数

replicationFactor:每个分片的复本数

maxShardsPerNode:每个Solr服务器节点上最大分片数(Solr 4.2新增)

4.7.2,将分片(Shards)复本(Replicas)分布在3个Solr服务器节点上

分片(Shard) 1 Replica's(Shard 1 Replica_1 at 192.168.1.2)

curl 'http://192.168.1.1:8080/solr/admin/cores?action=CREATE&name=mycollection_shard1_replica_2&collection=mycollection&shard=shard1'

curl 'http://192.168.1.3:8080/solr/admin/cores?action=CREATE&name=mycollection_shard1_replica_3&collection=mycollection&shard=shard1'

 

分片(Shard) 2 Replica's(Shard 2 Repkica_1 at 192.168.1.3)

curl 'http://192.168.1.1:8080/solr/admin/cores?action=CREATE&name=mycollection_shard2_replica_2&collection=mycollection&shard=shard2'

curl 'http://192.168.1.2:8080/solr/admin/cores?action=CREATE&name=mycollection_shard2_replica_3&collection=mycollection&shard=shard2'

 

分片(Shard) 3 Replica's(Shard 3 Repkica_1 at 192.168.1.1)

curl 'http://192.168.1.2:8080/solr/admin/cores?action=CREATE&name=mycollection_shard3_replica_2&collection=mycollection&shard=shard3'

curl 'http://192.168.1.3:8080/solr/admin/cores?action=CREATE&name=mycollection_shard3_replica_3&collection=mycollection&shard=shard3'

 

5,为SolrCloud创建索引

在SolrCloud上创建索引跟在单个Solr上创建索引方法一样，只不过SolrCloud会自动进行索引分片(Shard)和复制(Replica)；

6,在SolrCloud上进行查询

http://192.168.1.1:8080/solr/mycollection/select?q=*:*

q为查询关键字，修改q参数即可对SolrCloud中的所有索引数据进行查询(可通过监控每台Solr服务器节点的日子看到查询会在各个节点上进行，由此可知SolrCloud会将查询分配到各个节点上进行后将各个节点的查询结果汇总)；

 

7.笔者安装过程出现的问题：

严重: null:java.lang.NoClassDefFoundError: org/apache/solr/analysis/BaseTokenizerFactory……

这是个生坑，笔者原来一直以为是lib路径问题，各种改配置文件，后来发现真正原因是：mmseg4j这个jar包，我用的还是在solr 3.5下的mmseg4j-all-1.8.5.jar文件，而现在在4.2.1上肯定版本是变化，问题就出现这里！我到maven官网下了mmseg4j-analysis-1.9.0.jar、mmseg4j-core-1.9.0.jar、mmseg4j-solr-1.9.0.jar三个jar文件，放到我的solr发布的lib目录下，solr cloud ok!

在查询IKAnalyzer2012FF_u1中文分词文档的时候，发现原来在Solr4.0发布以后，官方取消了BaseTokenizerFactory接口，而直接使用Lucene Analyzer标准接口。因此IK分词器2012 FF版本也取消了org.wltea.analyzer.solr.IKTokenizerFactory类。这也是solr 3.x跟 solr 4.x 有很大变化的一个地方！

转载于:https://my.oschina.net/goudingcheng/blog/1792045

weixin_34233679
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Solr--Solr 索引库
我和井盖都笑了博客
05-05 399
Solr 索引库    1 solr home目录结构    1.1 solr.xml 配置 solr 集群    1.2 collection1 （索引库：solr core ）    1.3 core.properties 设置索引库的名称   &n...
solrcloud搭建
BlackManba_LGLG的博客
01-17 373
结构图：环境：虚拟机一台(centos7.4/jdk1.7)材料：tomcat7、zookeeper（本文称作为zk）、solr需求：三个zookeeper节点、四个tomcat节点首先搭建zookeeper集群：1、 解压缩zk，在zk根目录新建一个data文件夹，在data文件夹中新建一个myid来指定当前zk集群id(图中最后一个命令应该为：echo 1>>myid)2、 修改zk根目录下的
搭建SolrCloud时，使用HostName作为Node时需要注意
Veechange的博客
07-29 751
在搭建SolrCloud时，我为方便在Admin UI中监控节点是否正常，我使用了主机名（HostNameA、HostNameB...）来指定Node，这样一来，在Admin UI中看到的Collection的位置信息都是以主机名的形成显示的。我觉得机器名比IP地址好理解，所以就这么做了。       这样设置好了，SolrCloud运行正常了，然后问题来了，在开发的机器上（与Solr不在同一台
SolrCloud
weixin_42500488的博客
12-07 237
             SolrCloud 1什么是SolrCloud SolrCloud(solr 云)是 Solr 提供的分布式搜索方案，当你需要大规模，容错，分布式索引和检索能力时使用 SolrCloud。当一个系统的索引数据量少的时候是不需要使用 SolrCloud的，当索引量很大，搜索请求并发很高，这时需要使用 SolrCloud 来满足这些需求。 SolrCloud 是基于 ...
SolrCloud原理
huangchunxia_1的博客
03-20 336
转载自：http://blog.csdn.net/u011026968/article/details/50336709本文为调研分布式检索系统的笔记整理，之前调研sphinx和coreseek的时候，发现国内的博客，还是讲怎么配置怎么安装多，原理性的东西并不多。本文为：官网文档阅读笔记（有些会附带上文档英文原文， 如果读者觉得我哪个地方说的不清楚，可以看英文）+各种原理博客+各种源码分析博客。内...
SolrCloud初识
当幸福来敲门的专栏
01-15 208
转自：https://www.cnblogs.com/saratearing/p/5690476.html 一、概述  Lucene是一个Java语言编写的利用倒排原理实现的文本检索类库； Solr是以Lucene为基础实现的文本检索应用服务。Solr部署方式有单机方式、多机Master-Slaver方式、Cloud方式。 SolrCloud是基于Solr和Zookeeper的分布式搜索方...
solrcloud集群搭建
woaini886353的博客
04-27 721
什么是SolrCloud 什么是SolrCloud SolrCloud(solr 云)是Solr提供的分布式搜索方案，当你需要大规模，容错，分布式索引和检索能力时使用 SolrCloud。当一个系统的索引数据量少的时候是不需要使用SolrCloud的，当索引量很大，搜索请求并发很高，这时需要使用SolrCloud来满足这些需求。 SolrCloud结构 SolrCloud为了降低单机的处理压力，需要由多台服务器共同来完成索引和搜索任务。实现的思路是将索引数据...
SolrCloud简介
Adolph的专栏
09-01 552
一.简介 SolrCloud是Solr4.0版本以后基于Solr和Zookeeper的分布式搜索方案。SolrCloud是Solr的基于Zookeeper一种部署方式。Solr可以以多种方式部署，例如单机方式，多机Master-Slaver方式。 二.特色功能 SolrCloud有几个特色功能： 集中式的配置信息使用ZK进行集中配置。启动时可以指定把Solr的相关配置文件上传Zookeeper，多机器共用。这些ZK中的配置不会再拿到本地缓存，Solr直接读取ZK中的配置信息。配置文件的变动，所有机器
solrcloud mysql_Mysql数据导入SolrCloud
weixin_30193461的博客
02-11 84
Solr主要是做数据搜索的，那么Solr的数据是从哪里来的呢？总不能一条一条的插入吧。Solr也有这方面的考虑，比如配置Dataimport将mysql数据批量导入Solr中。环境说明：ambari v2.6.1SolrCloud 5.5.5我使用的ambari来自动化安装的Solr一、创建mysql表，并插入数据创建 test数据库，并执行下列语句usetest;DROP TABLE IF EX...
SolrCloud文档
12-14
这是一份关于SolrCloud的文档，有需要的可以下载看一看。
solrcloud windows 环境搭建
10-14
solrcloud环境搭建 windows平台搭建档案 全文检索实现
SolrCloud集群部署
07-30
SolrCloud(solr 云)是Solr提供的分布式搜索方案，当你需要大规模，容错，分布式索引和检索能力时使用 SolrCloud。此文档参考培训机构资料，适合初学者参考使用。
solrcloud.rar
06-22
solrcloud 搭建solr集群 solr4.7.2+zookeeper3.4.14 用到的工具包
SolrCloud集群搭建和使用步骤
05-13
SolrCloud集群搭建和使用步骤
protobuf-3.15.7-cp38-cp38-macosx_10_9_x86_64.whl
06-17
Python库是一组预先编写的代码模块，旨在帮助开发者实现特定的编程任务，无需从零开始编写代码。这些库可以包括各种功能，如数学运算、文件操作、数据分析和网络编程等。Python社区提供了大量的第三方库，如NumPy、Pandas和Requests，极大地丰富了Python的应用领域，从数据科学到Web开发。Python库的丰富性是Python成为最受欢迎的编程语言之一的关键原因之一。这些库不仅为初学者提供了快速入门的途径，而且为经验丰富的开发者提供了强大的工具，以高效率、高质量地完成复杂任务。例如，Matplotlib和Seaborn库在数据可视化领域内非常受欢迎，它们提供了广泛的工具和技术，可以创建高度定制化的图表和图形，帮助数据科学家和分析师在数据探索和结果展示中更有效地传达信息。
基于STM32微控制器的简单超声波液位控制器
06-17
基于STM32微控制器的简单超声波液位控制器
widgetsnbextension-4.0.1.tar.gz
最新发布
06-17
Python库是一组预先编写的代码模块，旨在帮助开发者实现特定的编程任务，无需从零开始编写代码。这些库可以包括各种功能，如数学运算、文件操作、数据分析和网络编程等。Python社区提供了大量的第三方库，如NumPy、Pandas和Requests，极大地丰富了Python的应用领域，从数据科学到Web开发。Python库的丰富性是Python成为最受欢迎的编程语言之一的关键原因之一。这些库不仅为初学者提供了快速入门的途径，而且为经验丰富的开发者提供了强大的工具，以高效率、高质量地完成复杂任务。例如，Matplotlib和Seaborn库在数据可视化领域内非常受欢迎，它们提供了广泛的工具和技术，可以创建高度定制化的图表和图形，帮助数据科学家和分析师在数据探索和结果展示中更有效地传达信息。
pyzmq-18.0.2-cp35-cp35m-manylinux1_i686.whl
06-17
Python库是一组预先编写的代码模块，旨在帮助开发者实现特定的编程任务，无需从零开始编写代码。这些库可以包括各种功能，如数学运算、文件操作、数据分析和网络编程等。Python社区提供了大量的第三方库，如NumPy、Pandas和Requests，极大地丰富了Python的应用领域，从数据科学到Web开发。Python库的丰富性是Python成为最受欢迎的编程语言之一的关键原因之一。这些库不仅为初学者提供了快速入门的途径，而且为经验丰富的开发者提供了强大的工具，以高效率、高质量地完成复杂任务。例如，Matplotlib和Seaborn库在数据可视化领域内非常受欢迎，它们提供了广泛的工具和技术，可以创建高度定制化的图表和图形，帮助数据科学家和分析师在数据探索和结果展示中更有效地传达信息。
python 获取solrcloud数据
04-04
可以使用Python中的`pysolr`库来获取SolrCloud数据。以下是基本示例： ```python import pysolr # 创建 SolrCloud 客户端 solr = pysolr.SolrCloud('<your_solrcloud_url>', zk='<your_zookeeper_url>') # 执行...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值