Apache Solr 9.1-（二）集群模式运行

已于 2023-01-29 18:33:25 修改
阅读量2.6k 收藏 3
点赞数 2
分类专栏： Java # solr 文章标签： solr apache lucene
于 2023-01-19 18:43:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dyj095/article/details/128728687
版权
Java 同时被 2 个专栏收录
17 篇文章 3 订阅
订阅专栏
solr
3 篇文章 0 订阅
订阅专栏

Apache Solr 9.1-（二）集群模式运行

Solr是一个基于Apache Lucene的搜索服务器，Apache Lucene是开源的、基于Java的信息检索库，Solr能为用户提供无论在任何时候都可以根据用户的查询请求返回结果，它被设计为一个强大的文档检索引擎。

Apache Solr系列文章：
1、Apache Solr 9.1-（一）初体验单机模式运行
2、Apache Solr 9.1-（二）集群模式运行
3、Apache Solr 9.1-（三）集群模式下通过Http API操作Apache Solr

目录

一、准备

1、各组件版本说明

序号软件名称版本说明
1JDK11Apache Solr9.1要求JDK的版本最低为11,可以是openjdk
2Apache Solr9.1基于Apache Lucene搜索服务器
3IK-Analyzer8.5.0中文分词器
4Zookeeper2.4.15

2、部署架构

在这里插入图片描述

3、硬件环境准备

序号IPHostName操作系统说明
1192.168.2.181hnode1CentOS7_x64
2192.168.2.182hnode2CentOS7_x64
3192.168.2.183hnode3CentOS7_x64

4、各服务器节点服务部署情况

序号服务节点Zookeeper节点solr节点
1hnode1√√
2hnode2√√
3hnode3√√

5、服务器基础环境准备

参见【大数据基础平台搭建-（一）基础环境准备】

二、部署OpenJDK 11

1、下载OpenJDK11

点击此处【OpenJDK11】进入下载页面下载
在这里插入图片描述

2、上传服务器并解压

本文是将openjdk11包上传到/opt/solr/目录下了

[root@hnode1 ~]# cd /opt/solr
[root@hnode1 solr]# tar -xzvf ./openjdk-11+28_linux-x64_bin.tar.gz

在这里插入图片描述

3、将jdk同步到hnode2服务器上

[root@hnode2 ~]# cd /opt/ 
[root@hnode2 opt]# mkdir solr
[root@hnode2 opt]# cd solr
[root@hnode2 solr]# scp -r root@hnode1:/opt/solr/jdk-11 ./

4、将jdk同步到hnode2服务器上

[root@hnode3 ~]# cd /opt
[root@hnode3 opt]# mkdir solr
[root@hnode3 opt]# cd solr
[root@hnode3 solr]# scp -r root@hnode1:/opt/solr/jdk-11 ./

三、部署Zookeeper集群

根据 Solr官方文档 说明：
1、如果在生产环境中部署Solr集群，那么不要使用Solr自带的Zookeeper，要使用外部独立部署的Zookpeer集群，因为自带的Zookeeper不具备故障转移的功能。
2、强烈建议在您的集成中使用奇数个ZooKeeper服务器，这样就可以保持大多数服务器。
3、通常不建议超过5个节点。虽然看起来更多的节点提供了更大的容错性和可用性，但实际上，由于发生了大量的节点间协调，它的效率会降低。除非你有一个真正庞大的Solr集群（规模为1000个节点），否则一般情况下尽量保持在3个，如果你有更大的集群，可能保持在5个。

  • 关与更多细节请您阅读官方文档。

1、在hnode1服务器上部署Zookeeper

1）. 解压安装包

[root@hnode1 ~]# cd /opt/
[root@hnode1 opt]# tar -xzvf ./apache-zookeeper-3.8.0-bin.tar.gz /opt/zk/apache-zookeeper-3.8.0-bin
[root@hnode1 opt]# cd /opt/zk/apache-zookeeper-3.8.0-bin

2）. 配置环境变量

[root@hnode1 apache-zookeeper-3.8.0-bin]# vim /etc/profile

#Zookeeper
export ZOOKEEPER_HOME=/opt/zk/apache-zookeeper-3.8.0-bin
export PATH=$PATH:$ZOOKEEPER_HOME/bin

[root@hnode1 apache-zookeeper-3.8.0-bin]# source /etc/profile

3）. 配置zookeeper

[root@znode apache-zookeeper-3.8.0-bin]# mkdir zkData
[root@znode apache-zookeeper-3.8.0-bin]# cd conf
[root@znode conf]# cp ./zoo_sample.cfg ./zoo.cfg
[root@znode conf]# vim ./zoo.cfg

tickTime=2000
clientPort=2181
dataDir=/opt/zk/apache-zookeeper-3.8.0-bin/zkData

initLimit=5
syncLimit=2

#添加集群中其他节点的信息
server.1=hnode1:2888:3888
server.2=hnode2:2888:3888
server.3=hnode3:2888:3888

# 指定允许管理员在solr Admin管理画面上查看Zookeeper的状态数据
4lw.commands.whitelist=mntr,conf,ruok
autopurge.snapRetainCount=3
autopurge.purgeInterval=1

[root@hnode1 apache-zookeeper-3.8.0-bin]# source /etc/profile

4）. 在zkData目录生成myid文件

[root@znode apache-zookeeper-3.8.0-bin]# cd zkData/
[root@znode zkData]# vim myid

1

2、在hnode2服务器上部署Zookeeper

1）. 从hnode1服务器复制Zookeeper安装目录

[root@hnode2 ~]# cd /opt/
[root@hnode2 opt]# mkdir zk
[root@hnode2 opt]# cd zk
[root@hnode2 zk]# scp -r root@hnode1:/opt/zk/apache-zookeeper-3.8.0-bin ./

2）. 配置环境变量

[root@hnode2 zk]# vim /etc/profile

#Zookeeper
export ZOOKEEPER_HOME=/opt/zk/apache-zookeeper-3.8.0-bin
export PATH=$PATH:$ZOOKEEPER_HOME/bin

[root@hnode2 zk]# source /etc/profile

3）. 修改myid

[root@hnode2 zk]# cd apache-zookeeper-3.8.0-bin/zkData/
[root@hnode2 zkData]# vim myid 

2

3、在hnode3服务器上部署Zookeeper

1）. 从hnode1服务器复制Zookeeper安装目录

[root@hnode3 ~]# cd /opt/
[root@hnode3 opt]# mkdir zk
[root@hnode3 opt]# cd zk
[root@hnode3 zk]# scp -r root@hnode1:/opt/zk/apache-zookeeper-3.8.0-bin ./

2）. 配置环境变量

[root@hnode3 zk]# vim /etc/profile

#Zookeeper
export ZOOKEEPER_HOME=/opt/zk/apache-zookeeper-3.8.0-bin
export PATH=$PATH:$ZOOKEEPER_HOME/bin

[root@hnode3 zk]# source /etc/profile

3）. 修改myid

[root@hnode3 zk]# cd apache-zookeeper-3.8.0-bin/zkData/
[root@hnode3 zkData]# vim myid 

3

四、部署Apache Solr集群

1、解压安装包

本文是将solr-9.1.0.tgz包上传到/opt/solr/目录下了

[root@hnode1 ~]# cd /opt/solr
[root@hnode1 solr]# tar -xzvf ./solr-9.1.0.tgz

2、配置solr环境变量

[root@hnode1 solr]# vim ./bin/solr.in.sh

查找到下面两行配置，并解注后，参照下面值进行配置

ZK_HOST="hnode1:2181,hnode2:2181,hnode3:2181"
ZK_CLIENT_TIMEOUT="30000"
SOLR_HOST="hnode1"
SOLR_PORT=8983
SOLR_HOME="/opt/solr/solr-9.1.0"

3、配置jvm

[root@hnode1 solr]# vim ./bin/solr

在脚本开始新增下面代码

SOLR_JAVA_HOME="/opt/solr/jdk-11"
SOLR_JETTY_HOST="192.168.2.181"

4、安装IK-Analyzer中文分词器

将ik-analyzer-8.5.0.jar上传到/opt/solr/solr-9.1.0/server/solr-webapp/webapp/WEB-INF/lib/目录下

5、将solr安装目录同步到hnode2节点上

[root@hnode2 solr]# scp -r root@hnode1:/opt/solr/solr-9.1.0 ./
[root@hnode2 solr]# vim ./solr-9.1.0/bin/solr

修改ip

SOLR_JETTY_HOST="192.168.2.182"

修改环境变量中的host即可，其它都不变

[root@hnode2 solr]# vim ./bin/solr.in.sh

SOLR_HOST="hnode2"

6、将solr安装目录同步到hnode3节点上

[root@hnode3 solr]# scp -r root@hnode1:/opt/solr/solr-9.1.0 ./
[root@hnode3 solr]# vim ./solr-9.1.0/bin/solr

修改ip

SOLR_JETTY_HOST="192.168.2.183"

修改环境变量中的host即可，其它都不变

[root@hnode3 solr]# vim ./bin/solr.in.sh

SOLR_HOST="hnode3"

7、启动Zookeeper集群

1）.在hnode1上启动Zookeeper

[root@hnode1 bin]# zkServer.sh start
[root@hnode1 bin]# zkServer.sh status

在这里插入图片描述

2）.在hnode2上启动Zookeeper

[root@hnode2 bin]# zkServer.sh start
[root@hnode2 bin]# zkServer.sh status

在这里插入图片描述

3）.在hnode3上启动Zookeeper

[root@hnode3 bin]# zkServer.sh start
[root@hnode3 bin]# zkServer.sh status

在这里插入图片描述

8、启动Solr集群

1）.在hnode1上启动solr

[root@hnode1 solr]# cd /opt/solr/solr-9.1.0/bin
# 通过solr命令来在zookeeper集群上创建/solr目录来存放solr集群的数据
[root@hnode1 bin]# ./solr zk mkroot /solr -z hnode1:2181,hnode2:2181,hnode3:2181
# 启动Solr集群
[root@hnode1 bin]# ./solr start -e cloud -z hnode1:2181,hnode2:2181,hnode3:2181/solr -force

2）.在hnode2上启动solr

[root@hnode2 solr]# cd /opt/solr/solr-9.1.0/bin
[root@hnode2 bin]# ./solr start -e cloud -z hnode1:2181,hnode2:2181,hnode3:2181/solr -force

3）.在hnode3上启动solr

[root@hnode3 solr]# cd /opt/solr/solr-9.1.0/bin
[root@hnode3 bin]# ./solr start -e cloud -z hnode1:2181,hnode2:2181,hnode3:2181/solr -force

在这里插入图片描述
在这里插入图片描述

因为此时还未创建Collection，所以此时Cloud->Graph显示的Solr集群图中是空的，下面9将创建一个Collection后就可以看到了。

9、创建一个Collection

在这里插入图片描述
在这里插入图片描述

10、更新Collection中Schema字段

1）.从Zookeeper集群中下载配置文件

[root@hnode1 solr]# solr-9.1.0/bin/solr zk downconfig -d . -n _default
[root@hnode1 solr]# cd conf

2）.修改配置文件

[root@hnode1 conf]# vim managed-schema.xml

添加IK中文分词器配置和添加两个自定义字段

<!-- ik分词器 -->
<fieldType name="text_ik" class="solr.TextField">
	<analyzer type="index" useSmart="false" class="org.wltea.analyzer.lucene.IKAnalyzer"/>
	<analyzer type="query" useSmart="true" class="org.wltea.analyzer.lucene.IKAnalyzer"/>
</fieldType>

<!-- 消息记录id -->
<field name="messageID" type="string" indexed="true" stored="true" required="true" multiValued="false" /> 
<!-- 发送者姓名 -->
<field name="senderFullName" type="text_ik" indexed="true" stored="true" multiValued="false" />

3）.更新配置文件到Zookeeper集群中

第一步：先删除zookeeper集群中solr目录下的配置文件

[root@hnode1 conf]# zkCli.sh
[zk: localhost:2181(CONNECTED) 0] ls /solr/configs/_default
[lang, managed-schema.xml, protwords.txt, solrconfig.xml, stopwords.txt, synonyms.txt]
[zk: localhost:2181(CONNECTED) 1] delete /solr/configs/_default/managed-schema.xml

第二步：通过cloud-scripts中的zkcli.sh脚本将本地修改完成的managed-schema.xml上传到zookeeper集群中/solr/configs/_default/目录下

[root@hnode1 conf]# cd ..
[root@hnode1 solr]# cd /opt/solr/solr-9.1.0/server/scripts/cloud-scripts
[root@hnode1 cloud-scripts]# ./zkcli.sh -zkhost hnode1:2181,hnode2:2181,hnode3:2181 -cmd putfile /solr/configs/_default/managed-schema.xml /opt/solr/conf/managed-schema.xml

第三步：通过solr Admin UI画面，重新加载Collection配置

点击画面中Collections->collection1->Reload按钮

在这里插入图片描述

五、验证结果

1、确认collection1重载配置后Schema生效在这里插入图片描述

在这里插入图片描述

2、验证中文分词

在这里插入图片描述

老杜095
关注
专栏目录
Solr原理与代码实例讲解
程序员光剑
06-19 553
Solr原理与代码实例讲解 1.背景介绍 Apache Solr 是一个开源的搜索平台，基于 Apache Lucene 构建，专为高效的全文搜索和索引而设计。Solr 提供了强大的功能，如分布式搜索、容错、实时索引等，广泛应用于企业搜索、网站搜索、日志分析等领域。本文将深入探讨 Solr 的核心
深入解析ElasticSearch架构：从节点到集群
最新发布
程序员光剑
08-17 977
1. 背景介绍 1.1. Elasticsearch 简介 Elasticsearch 是一个开源的、分布式的、RESTful 风格的搜索引擎，建立在 Apache Lucene 之上。它以其强大的搜索功能、可扩展性和高可用性而闻名。Elasticsearch 不仅适用于全文搜索，还
solr集群安装部署
09-10
solr集群安装部署，对于初学者可以了解下
solr集群搭建-9-搭建Solr集群
PeterOK的博客
05-20 427
声明：写此博客是为了记录并分析solr集群搭建的全过程，防止后期时间久了不用会遗忘。希望同时也能帮到有需要的朋友因为是在虚拟机上模拟安装，所以采用伪集群的方式进行安装，即将如果是真正的生产环境，将伪集群的ip改下就可以了，步骤是一样的。...
Solr_集群介绍
Regan_Hoo的博客
12-14 804
概述Lucene是一个Java语言编写的利用倒排原理实现的文本检索类库 Solr是以Lucene为基础实现的文本检索应用服务。Solr部署方式有单机方式、多机Master-Slaver方式、Cloud方式 SolrCloud是基于Solr和Zookeeper的分布式搜索方案。在分布式索引中，原来的大索引，将会分成多个小索引，solr可以将这些小索引返回的结果合并，然后返回给客户端。 solr的基
Solr集群的架构
我翱翔的天空
04-07 3496
最近要搭一个Solr集群，我们先来了解一下架构。架构搭建需要用到solr+zookeeper。 看以下结构： 要完成的集群结构如下图：            搭集群前先理清其架构和原理，搭建的时候就会顺利很多。关于搭建集群的具体步骤，下篇将会介绍，敬请期待。
Solr 10 - SolrCloud集群模式简介 + 组成结构的说明
weixin_30247307的博客
10-30 134
目录 1 什么是SolrCloud 2 SolrCloud的结构 2.1 物理结构 2.2 逻辑结构 2.2.1 Collection(集合) 2.2.2 Core(内核) 2.2.3 Shard(分片) 2.2.4 Replica(...
solrcloud-5.2.1 集群部署+ik分词器配置
Jasper的博客
12-25 526
安装 下载Solr-5.2.1安装包 wget http://archive.apache.org/dist/lucene/solr/5.2.1/solr-5.2.1.tgz 从压缩包中抽出安装脚本 tar -zxvf solr-5.2.1.tgz solr-5.2.1/bin/install_solr_service.sh --strip-components=2 创建安装目录 mkdi...
rhel6.5+CDH5.14+CM 2台集群安装说明
whn360的专栏
02-13 1581
声明： 本文是本人经过N次安装实验后整理编写，安装配置过程中参考了大量的网上资料，正文中也有引用，在此表示感谢！因为自己安装配置经历比较坎坷，长达2个月坚持不懈的努力（跨过元旦、春节），总算把基础环境搭建起来了。这里也记录了自己安装配置过程中遇到的所有问题与解决办法。希望后边学习的人，能在此文的帮助下，顺利的搭建好测试环境。如有错误，还请谅解指正，谢谢！ rhel6.5+CDH5.14+CM 2台...
【AI大数据计算原理与代码实例讲解】Hadoop
程序员光剑
07-24 971
【AI大数据计算原理与代码实例讲解】Hadoop 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：Hadoop, 分布式计算, 大数据, 数据处理框架, YARN, MapReduce 1
Solr集群搭建
我翱翔的天空
04-09 778
继上篇《Zookeeper集群搭建》，此篇介绍Solr集群的搭建。 第一步：安装四个tomcat，修改其端口号不能冲突。8080~8083 [root@localhost ~]# cp -r apache-tomcat-7.0.47 /usr/local/solr-cloud/tomcat01 [root@localhost ~]# cp -r apache-tomcat-7.0.47
solr 9.1官方文档翻译
qq_50291628的博客
03-06 525
只是solr翻译
solr集群(solrcloud)部署搭建
weixin_44320761的博客
10-27 3991
`简介` SolrCloud 旨在提供一个高度可用、容错的环境，用于跨多个服务器分发索引内容和查询请求。它是基于 Solr 和Zookeeper的分布式搜索方案，它的主要思想是使用 Zookeeper作为集群的配置信息中心。它是灵活的分布式搜索和索引，无需主节点来分配节点、分片和副本使用 ZooKeeper来管理，查询和更新可以发送到任何服务器。 `特点` 1、集中式的配置信息 2、自动容错 3、近实时搜索 4、查询时自动负载均衡 搭建过程： 基础环境搭建-->zookeeper集群搭建-->
solr集群搭建和 java调用 solr集群
热门推荐
小鱼儿
02-20 1万+
solrClund 是solr提供的分布式搜索方案 solrClund 是基于solr和zookeeper的分布式搜索方案， 主要思想是使用zookeeper作为集群的配置中心 特色功能： 1.集中式的配置信息 2.自动容错 3.近实时搜索 4.查询时自动负载均衡zookeeper:动物园管理员，用于管hadoop（大象）、Hive(蜜蜂)的管理员SolrCloud结构 需要由多台服
详细部署solr集群
zgl1243094406的博客
08-26 1143
1.首先将windos环境下配置好的带有IK分词器的tomcat-solr和solrhome上传到linux上 CRT下使用ALT+P   put  -r 命令 2. 在linux下的/usr/soft目录下创建solr-cloud和solrhomes mkdir /usr/soft/solr-cloud mkdir /usr/soft/solrhomes 3.分别将上传的文件cop...
Solr集群的搭建（solr集群架构 solr部分）
蓦然回首
11-17 411
第一步： 创建四个tomcat实例。每个tomcat运行在不同的端口。8180、8280、8380、8480 ———————————小小小—-分隔———————————————————— 第二步： 部署solr的war包。把单机版的solr工程复制到集群中的tomcat中 （单机版solr工程 请看：http://blog.csdn.net/chenxiansheng888/art
Solr学习2——集群部署与配置
耶律妙月的博客
11-02 357
一、Solr两种部署模式介绍 1.Standalone Server   独立服务器模式 适用于数据规模不大的场景。 说明： 每个solr服务器实例（启动的一个solr服务器进程）都有一个solr主目录（系统变量名为：solr.solr.home）。启动服务器实例时须为实例指定主目录（默认为：server/solr目录）。 solr主目录中存放该服务器实例托管的内核。 一个solr服务器实例中...
Solr-----9、Solr查询语法
hekewangzi
10-27 428
Solr-----9、Solr查询语法
精通Apache Solr搜索模式：提升业务效能
"Apache Solr Search Patterns" 《Apache Solr Search Patterns》是Jayant Kumar撰写的一本关于Apache Solr的实用指南，专注于利用Solr提升业务中的搜索效率。这本书共有250页，第一版，由Packt Publishing在2015年...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

老杜095

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值