12_搭建 ElasticSearch 集群

最新推荐文章于 2023-01-13 10:56:13 发布

果将如此

最新推荐文章于 2023-01-13 10:56:13 发布

阅读量569

点赞数 3

分类专栏： # ElaticSearch 文章标签： elasticsearch

By_Code27

本文链接：https://blog.csdn.net/XJ0927/article/details/112002991

版权

ElaticSearch 专栏收录该内容

14 篇文章 29 订阅

订阅专栏

环境搭建

1、将原有ES安装包复制三份

cp -r elasticsearch-6.8.0/  es_node1/
cp -r elasticsearch-6.8.0/  es_node2/
cp -r elasticsearch-6.8.0/  es_node3/

由于复制目录之前使用过因此需要在创建集群时将原来数据删除

注意: 如果你是重新安装的ES，这个步骤可以省略

但是如果你之前安装过IK分词器，建议你直接复制，这样就可以省略重新去安装IK分词器

rm -rf es_node1/data
rm -rf es_node2/data
rm -rf es_node3/data

3、调整JVM内存

由于ES启动时比较消耗内存，需要进行调整，你有两种方式可以选择：

第一种：调大虚拟机分配的内存
第二种：调整ES所占用内存

这里选择第二种

编辑没有文件夹中config目录中jvm.options文件跳转启动内存

vim es_node1/config/jvm.options  
vim es_node2/config/jvm.options
vim es_node3/config/jvm.options

分别调整为：[根据个人虚拟机情况调整，我这里虚拟机分配了1G，我有三台ES,所以选择分配300m]

-Xms300m -Xmx300m

4、集群配置

分别修改三个文件夹中config目录中elasticsearch.yml文件

vim es_node1/config/elasticsearch.yml
vim es_node2/config/elasticsearch.yml
vim es_node3/config/elasticsearch.yml

分别修改如下配置:

cluster.name: es                       					#集群名称(集群名称必须一致)
node.name: node1                     					 #节点名称(节点名称不能一致)
network.host: 0.0.0.0                          #监听地址(必须开启远程权限,并关闭防火墙)
http.port: 9201                           	#监听端口(在一台机器时服务端口不能一致)
discovery.zen.ping.unicast.hosts: ["192.168.77.138:9302", "192.168.77.138:9303"]  		#另外两个节点的ip
gateway.recover_after_nodes: 3           						 #集群可做master的最小节点数
transport.tcp.port: 9301				  						 #集群TCP端口(在一台机器搭建必须修改)

cluster.name: es                       					#集群名称(集群名称必须一致)
node.name: node1                     					 #节点名称(节点名称不能一致)
network.host: 0.0.0.0                          #监听地址(必须开启远程权限,并关闭防火墙)
http.port: 9202                           	#监听端口(在一台机器时服务端口不能一致)
discovery.zen.ping.unicast.hosts: ["192.168.77.138:9301", "192.168.77.138:9303"]  		#另外两个节点的ip
gateway.recover_after_nodes: 3           						 #集群可做master的最小节点数
transport.tcp.port: 9302				  						 #集群TCP端口(在一台机器搭建必须修改)

cluster.name: es                       					#集群名称(集群名称必须一致)
node.name: node1                     					 #节点名称(节点名称不能一致)
network.host: 0.0.0.0                          #监听地址(必须开启远程权限,并关闭防火墙)
http.port: 9203                           	#监听端口(在一台机器时服务端口不能一致)
discovery.zen.ping.unicast.hosts: ["192.168.77.138:9301", "192.168.77.138:9302"]  		#另外两个节点的ip
gateway.recover_after_nodes: 3           						 #集群可做master的最小节点数
transport.tcp.port: 9303				  						 #集群TCP端口(在一台机器搭建必须修改)

注意：

监听端口是指web页面访问的端口，TCP端口是集群服务器之间通信用的端口
transport.tcp.port需要在末尾自己添加

5、启动ElasticSearch

切换到非root身份，启动多个es

./es_node1/bin/elasticsearch
./es_node2/bin/elasticsearch
./es_node3/bin/elasticsearch

如果启动时，出现以下情况：

Exception in thread "main" java.nio.file.AccessDeniedException:
			.....

解决办法：集群启动BUG解决方案

6、查看节点状态

浏览器分别访问：

http://192.168.77.138:9201/
http://192.168.77.138:9202/
http://192.168.77.138:9203/

如果出现以下数据：

在这里插入图片描述

代表集群创建成功！

7、查看集群健康

如果你想要看集群的整体情况，你可以访问：

http://192.168.77.138:9201/_cat/health?v

在这里插入图片描述

解释以下为什么这里的主分片是7，而总分片是14，因为我使用了kibana连接了ElasticSearch，默认会创建两个索引，且索引分片为1，分片副本也为1；同时我自己创建了一个索引：索引分片为5，分片副本为1。所以最终主分片为：5+1+1，全部分片[主分片+副本分片]：5*2+2+2=14，如果你没有用kibana连接ES，也没有自己创建索引，则这里的分片数量为0

8、kiabana 连接 ES集群

如果你之前连接过一台ES集群[为什么说一台也是集群呢？因为ES启动方式就是集群启动，只是集群数量为一台]，其实需要修改的地方都差不多

进入kibana配置文件：

vim kibana-6.8.0-linux-x86_64/configkibana.yml

修改连接ES的地址为集群中的任意一台：

server.host: "192.168.77.138"
elasticsearch.hosts: ["http://192.168.77.138:9201"]

9、SpringBoot 连接ES集群

如果你之前有用SpringBoot连接ES，这里的配置差不多，只是需要将连接地址改为所有的节点地址（防止其中某一台断掉不可用）

package com.elaticsearch.config;

import org.elasticsearch.client.RestHighLevelClient;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.data.elasticsearch.client.ClientConfiguration;
import org.springframework.data.elasticsearch.client.RestClients;
import org.springframework.data.elasticsearch.config.AbstractElasticsearchConfiguration;

/**
 * @Author: xj0927
 * @Description: RestHighLevelClient 客户端配置
 * @Date Created in 2020-12-30 14:05
 * @Modified By:
 */
@Configuration
public class RestClientConfig extends AbstractElasticsearchConfiguration {

    @Override
    @Bean
    public RestHighLevelClient elasticsearchClient() {
        final ClientConfiguration clientConfiguration = ClientConfiguration.builder()
            .connectedTo("192.168.77.138:9201","192.168.77.138:9202","192.168.77.138:9203")  //===>与kibana客户端类型都是restful分格,都是连接9200端口[这里填写你开放的web端口]
            .build();
        return RestClients.create(clientConfiguration).rest();
    }

}

Head 集群可视化

通过访问http://192.168.77.138:9201/_cat/health?v我们并不知道每台服务器的具体健康状态如何，这时便可使用我们的head插件，注意该插件并不是官方提供的，是国外的一位大神针对ES集群健康状态开发的

1、安装 nodejs

head 插件需要使用node环境，所以需要先安装node

（1）下载安装包

下载地址：

https://nodejs.org/download/release/v10.15.3/node-v10.15.3-linux-arm64.tar.xz

（2）解压

注意该解压包是以.xz结尾的，需要先解压成.tar结尾的

xz -d node-v10.15.3-linux-arm64.tar.xz
tar -xvf node-v10.15.3-linux-x64.tar

解压完成后，进入bin目录，

./node --version

在这里插入图片描述

但此时只能在当前目录下执行，还需要配置环境变量

（3）配置环境变量

# 改名
mv node-v10.15.3-linux-x64 nodejs

# 放入/usr/下
mv nodejs /usr/nodejs

修改配置文件

vim /etc/profile

在末尾添加：

export NODE_HOME=/usr/nodejs
export PATH=$PATH:$JAVA_HOME/bin:$NODE_HOME/bin

使配置文件生效：

source /etc/profile

（4）测试

在任意目录下，查看

node -v

在这里插入图片描述

代表 node 安装成功！

2、安装Head

（1）下载安装包

官网地址：

https://codeload.github.com/mobz/elasticsearch-head/zip/master

（2）解压

unzip elasticsearch-head-master.zip

（3）更换阿里源

默认使用的仓库，下载速度比较慢，这里更换国内阿里源，可以提高下载速度

进入elasticsearch-head的目录，

npm config set registry https://registry.npm.taobao.org

（4）下载安装

npm install

（5）启动插件

npm run start

在这里插入图片描述

（6）测试

访问：这里localhost要换成你的ip地址

http://192.168.77.138:9100/

在这里插入图片描述

在Head中输入ES集群中任意一台节点的访问地址，便可以可视化集群的状态，但这里还不行，前面我们提到Head不是官方提供的，Head和ElasticSearch在不用的域，所以还需要解决跨域访问的问题

（7）解决跨域问题

编写每台ES服务器的elastsearch.yml配置文件开启head插件的访问，在末尾分别添加如下内容：

http.cors.enabled: true
http.cors.allow-origin: "*"

然后重启每台ES服务，便可以访问到集群了

（8）访问Head插件

启动访问head插件默认端口9100

http://192.168.77.138:9100/

在这里插入图片描述

3、集群状态变化演示

这里我们创建主分片为5，副本为1的ems索引（如果不指定，ElasticSearch 7 之前的版本默认为5和1，我们这里用的6.8.0）

在这里插入图片描述

可以看到主分片和副本分片分布在不同的节点，同时保证主副分片不在同一节点（保证节点发生故障时可用），

现在我们停掉node1节点：

在这里插入图片描述

可以看到集群仍然可用，虽然有些副本失效了，但是还是保证了5个主分片可用（即保证了数据的完整性）

现在我们停掉node2节点：

在这里插入图片描述

集群仍然可用，只是集群数量现在只有一台，主分片依然完整。

现在我们重启node2节点：

在这里插入图片描述

发现集群慢慢同步了数据，去分担node1节点的压力，此时完整的主副分片都分布在者=这两个节点中，所以健康状态为：green

现在我们重启node1节点：
在这里插入图片描述

我们发现分片又重新分布在了不同的节点，健康状态为：green

果将如此

关注

3
点赞
踩
4

收藏

觉得还不错? 一键收藏
2
评论
12_搭建 ElasticSearch 集群

相关概念集群(cluster)是什么一个集群就是由一个或多个节点组织在一起，它们共同持有你整个的数据，并一起提供索引和搜索功能。一个集群由一个唯一的名字标识，这个名字默认就是elasticsearch。这个名字是重要的，因为一个节点只能通过指定某个集群的名字，来加入这个集群。在产品环境中显式地设定这个名字是一个好习惯，但是使用默认值来进行测试/开发也是不错的。能干嘛1.单节点压力问题并发压力物理资源上限压力2.数据冗余备份能力节点(node)是什么一个节点是你集群中的一个服务
复制链接

扫一扫