《Linux运维总结：ubuntu20.04二进制部署elasticsearch7.13.0集群》

已于 2023-05-26 13:20:00 修改
阅读量1k 收藏 1
点赞数
分类专栏： 《Linux运维实战总结》 文章标签： elasticsearch
于 2023-05-26 09:21:13 首次发布
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/m0_37814112/article/details/130879767
版权

一、二进制部署

服务信息如下：

节点主机IP版本HTTP端口TCP端口jdk版本
节点1192.168.1.627.13.01920419304es二进制包自带jdk版本
节点2192.168.1.637.13.01920419304es二进制包自带jdk版本

1.1、环境初始化

说明：以下操作都需要在ES集群各个节点执行。

echo '* soft nofile 65536' >> /etc/security/limits.conf
echo '* hard nofile 65536' >> /etc/security/limits.conf
echo '* soft memlock unlimited' >> /etc/security/limits.conf
echo '* hard memlock unlimited' >> /etc/security/limits.conf
echo 'vm.max_map_count=655360' >> /etc/sysctl.conf
sysctl -p

1.2、部署准备步骤

说明：以下操作都需要在ES集群各个节点执行。

1、创建elastic用户

useradd -d /data/es-cluster -m elastic
passwd elastic

2、进入elastic用户，下载解压软件包

su elastic
cd /data/es-cluster
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.13.0-linux-x86_64.tar.gz
tar axf elasticsearch-7.13.0-linux-x86_64.tar.gz

3、进入elastic用户，创建数据目录和快照备份目录

mkdir elasticsearch-7.13.0/data
mkdir elasticsearch-7.13.0/backup

4、配置jdk环境变量

vim elasticsearch-7.13.0/bin/elasticsearch-env
export ES_JAVA_HOME=/data/es-cluster/elasticsearch-7.13.0/jdk

说明：如果是在root用户下操作的，记得对目录进行授权，使属主和属组均为elastic。

1.3、配置x-pack生成p12格式证书

说明：以下操作都需要在ES集群其中一个节点执行即可，这里默认在节点1的elastic用户下执行。

1、生成p12格式证书

注意：其中生成生成p12格式证书必须与下面的生成密码操作在同一主机上执行。

# 进入elastic用户下
cd elasticsearch-7.13.0
./bin/elasticsearch-certutil cert -out config/elastic-certificates.p12 -pass ""

2、将elastic-certificates.p12证书文件拷贝到节点2主机上的对应目录

# 进入elastic用户下
cd elasticsearch-7.13.0
scp config/elastic-certificates.p12 elastic@192.168.1.63:/data/es-cluster/elasticsearch-7.13.0/config

说明：只有elastic-certificates.p12文件在config目录下，才可以写在配置文件定义相对路径，否则，就必须写全路径。

1.4、修改elasticsearch.yml文件

1、节点1配置文件如下所示：

# 进入elastic用户下
cd /data/es-cluster && vim  elasticsearch-7.13.0/config/elasticsearch.yml

# 集群名称
cluster.name: my-application

# 节点名称
node.name: node-1

# http端口
http.port: 19204

# 集群通信端口
transport.tcp.port: 19304

# 网络连接地址
network.host: 192.168.1.62
network.bind_host: 192.168.1.62
network.publish_host: 192.168.1.62

# 是否设置主节点,默认为true
node.master: true

# 是否允许节点存储数据,默认为true
node.data: true

# 为了避免脑裂，集群节点数最少为 半数（N/2）+1
discovery.zen.minimum_master_nodes: 2

# 从7.0版本开始，如果要启动在多个物理主机上启动一个全新的集群，必须指定参与第一次投票选举的候选主节点。这个过程称为集群启动引导，仅在集群第一次启动时才需要
# cluster.initial_master_nodes 参数设置一系列符合主节点条件的节点的主机名或IP地址来引导启动集群
# 如果不是候选主节点，则不需要配置此项
cluster.initial_master_nodes: ["node-1","node-2"]

# 自动发现设置，配置之后集群的主机之间可以自动发现
discovery.seed_hosts: ["192.168.1.62:19304", "192.168.1.63:19304"]

# 启用elsticserach验证模块x-pack
xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
xpack.license.self_generated.type: basic
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: elastic-certificates.p12

# 跨域访问，不添加无法使用head连接es，连接时在http:ip:port/?auth_user=elastic&auth_password=密码
http.cors.enabled: true
http.cors.allow-origin: "*"
http.cors.allow-headers: Authorization,X-Requested-With,Content-Length,Content-Type

# 禁用交换区swapping
bootstrap.memory_lock: false

# 网络参数配置
network.tcp.no_delay: true
network.tcp.keep_alive: true
network.tcp.reuse_address: true
network.tcp.send_buffer_size: 256mb
network.tcp.receive_buffer_size: 256mb

# 设置是否压缩tcp传输时的数据，默认为false，不压缩
transport.tcp.compress: true

# 快照备份仓库地址
path.repo: ["/data/es-cluster/elasticsearch-7.13.0/backup"]

2、节点2配置文件如下所示：

# 进入elastic用户下
cd /data/es-cluster && vim  elasticsearch-7.13.0/config/elasticsearch.yml

# 集群名称
cluster.name: my-application

# 节点名称
node.name: node-2

# http端口
http.port: 19204

# 集群通信端口
transport.tcp.port: 19304

# 网络连接地址
network.host: 192.168.1.63
network.bind_host: 192.168.1.63
network.publish_host: 192.168.1.63

# 是否设置主节点,默认为true
node.master: true

# 是否允许节点存储数据,默认为true
node.data: true

# 为了避免脑裂，集群节点数最少为 半数（N/2）+1
discovery.zen.minimum_master_nodes: 2

# 从7.0版本开始，如果要启动在多个物理主机上启动一个全新的集群，必须指定参与第一次投票选举的候选主节点。这个过程称为集群启动引导，仅在集群第一次启动时才需要
# cluster.initial_master_nodes 参数设置一系列符合主节点条件的节点的主机名或IP地址来引导启动集群
# 如果不是候选主节点，则不需要配置此项
cluster.initial_master_nodes: ["node-1","node-2"]

# 自动发现设置，配置之后集群的主机之间可以自动发现
discovery.seed_hosts: ["192.168.1.62:19304", "192.168.1.63:19304"]

# 启用elsticserach验证模块x-pack
xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
xpack.license.self_generated.type: basic
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: elastic-certificates.p12

# 跨域访问，不添加无法使用head连接es，连接时在http:ip:port/?auth_user=elastic&auth_password=密码
http.cors.enabled: true
http.cors.allow-origin: "*"
http.cors.allow-headers: Authorization,X-Requested-With,Content-Length,Content-Type

# 禁用交换区swapping
bootstrap.memory_lock: false

# 网络参数配置
network.tcp.no_delay: true
network.tcp.keep_alive: true
network.tcp.reuse_address: true
network.tcp.send_buffer_size: 256mb
network.tcp.receive_buffer_size: 256mb

# 设置是否压缩tcp传输时的数据，默认为false，不压缩
transport.tcp.compress: true

# 快照备份仓库地址
path.repo: ["/data/es-cluster/elasticsearch-7.13.0/backup"]

在elasticsearch 中，network.host、network.bind_host、network.publish_host这三个配置项都用于指定elasticsearch与外界交互的网络地址。它们的区别如下：

1、network.host：network.host 是elasticsearch 7.0版本中新增的配置项，用于指定easticsearch 与外界交互的网络地址。如果不指定该配置项，则 elasticsearch默认会监听0.0.0.0，即监听所有可用的网络接口。可以使用该配置项来限制elasticsearch监听的网络接口，从而提高安全性。

2、network.bind_host：network.bind_host是elasticsearch 1.0版本中引入的配置项，用于指定elasticsearch监听的网络接口。如果不指定该配置项，则elasticsearch 默认会监听所有可用的网络接口。可以使用该配置项来限制elasticsearch监听的网络接口，从而提高安全性。该配置项可以设置为一个具体的IP地址或主机名，也可以设置为一个通配符，如0.0.0.0或者local。

3、network.publish_host：network.publish_host是elasticsearch 1.0版本中引入的配置项，用于指定elasticsearch向外界公开的网络地址。如果不指定该配置项，则elasticsearch默认会使用network.bind_host 配置项指定的地址。可以使用该配置项来解决elasticsearch集群中的节点使用不同的网络接口的问题，从而实现跨机器通信。该配置项可以设置为一个具体的IP地址或主机名，也可以设置为一个通配符，如0.0.0.0或者local。

综上所述，network.host、network.bind_host、network.publish_host这三个配置项都用于指定elasticsearch与外界交互的网络地址，但它们的作用和使用方式略有不同。其中network.host是elasticsearch 7.0版本中新增的配置项，可以用来限制elasticsearch监听的网络接口；而network.bind_host和network.publish_host则是elasticsearch 1.0版本中引入的配置项，用于指定elasticsearch监听的网络接口和向外界公开的网络地址。

1.5、修改jvm.options文件

说明：以下操作都需要在ES集群各个节点执行，jvm内存根据实际情况修改。

# 进入elastic用户下
vim elasticsearch-7.13.0/config/jvm.options
-Xms4g
-Xmx4g

1.6、服务启动

说明：以下操作都需要在ES集群各个节点执行。

# 进入elastic用户下
cd elasticsearch-7.13.0
./bin/elasticsearch -d

# 或者在root用户执行
su elastic -c "/data/es-cluster/elasticsearch-7.13.0/bin/elasticsearch -d"

1.7、设置密码

说明：以下操作都需要在ES集群其中一个节点执行即可，这里默认在节点1执行，其中生成生成p12格式证书必须与下面的生成密码操作在同一主机上执行。

# 进入elastic用户下
cd elasticsearch-7.13.0

# 手动设置密码
./bin/elasticsearch-setup-passwords interactive

# 自动设置密码
./bin/elasticsearch-setup-passwords auto

1.8、检查集群状态

curl -u elastic:vhgXdi3PqkkA2HEVe7Bi http://192.168.1.62:19204/_cat/health

二、创建快照进行备份

Elasticsearch也提供了备份集群中索引数据的策略snapshot API。它会备份整个集群的当前状态和数据，并保存到集群中各个节点共享的仓库中。这个备份的进程是增量备份的，在第一次备份的基础上进行的第二次备份只备份新变化的数据。

创建elasticsearch快照进行备份，步骤如下：

# 1、建立NFS文件共享服务
# 2、配置共享目录挂载的路径，即path.repo
# 3、创建快照仓库
# 4、创建快照
# 5、恢复快照到elasticsearch集群

1、建立NFS文件共享服务

# 1、服务端，这里默认以节点1（192.168.1.62）为服务端,
sudo apt install nfs-kernel-server
chmod 777 /data/es-cluster/elasticsearch-7.13.0/backup -R
vim /etc/exports
/data/es-cluster/elasticsearch-7.13.0/backup 192.168.1.63(rw,sync,no_subtree_check)
sudo exportfs -ra
sudo systemctl restart nfs-kernel-server

#2、客户端，这里默认以节点2（192.168.1.63）为客户端
sudo apt install nfs-common
mount 192.168.1.62:/data/es-cluster/elasticsearch-7.13.0/backup /data/es-cluster/elasticsearch-7.13.0/backup/

2、创建快照仓库

说明：以下操作在ES集群任意一节点执行即可，这里默认在节点1执行。

## es_backup可任意设置,无特殊意义
curl -H "Content-Type: application/json" -XPUT http://192.168.1.62:19204/_snapshot/es_backup  -d '
{
    "type": "fs",
    "settings": {
        "location": "/data/es-cluster/elasticsearch-7.13.0/backup",
        "max_snapshot_bytes_per_sec": "50mb",
        "max_restore_bytes_per_sec": "50mb"
    }
}'

3、查看快照仓库信息

说明：以下操作在ES集群任意一节点执行即可，这里默认在节点1执行。

curl http://192.168.1.62:19204/_snapshot/es_backup?pretty

总结：整理不易，如果对你有帮助，可否点赞关注一下？

更多详细内容请参考：Linux运维实战总结

东城绝神
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
【Ubuntu】ubuntu 安装 ES (ElasticSearch)
weixin_44596128的博客
01-14 4864
1.修改elasticsearch.yml vi /usr/local/elasticsearch-6.4.0/config/elasticsearch.yml #修改network.host为 0.0.0.0 network.host: 0.0.0.0 #修改http.port为 9200 http.port: 9200 2.新建用户并赋予权限 #新建用户 adduser xxx #赋予...
Linux_Configurations：Ubuntu 20.04 LTS
02-14
Linux_配置 当我开始寻找快速的方法来编写[math] \ LaTeX [/ math]时，Linux的弱点开始出现。 宝石是Gilles Castel先生完美地解释了他的配置，使他的数学渲染与实时记录一样快。 当然，我爱上了该站点，并且已经确定阅读了第一篇文章一百多次（主要是在使Linux在机器上运行之后）。 我想要像他一样的东西，使用LaTeX片段的想法令人神往（字面上的祝福），但是我不知道这些方法是如何工作的，我所能模仿的只是在Visual Studio Code中使用片段。 那时我是Windows 10用户，并安装了Vim。 这有点儿需要学习，在了解了如何配置Vimrc之后，不知所措，我不明白Vim-Plug或VimTex是如何工作的。 但是我应该说，后来在LaTeX中使用代码片段使我有机会编写我可能从未做过的事情。 我非常高兴地遇到了吉尔斯·卡斯特尔先生的杰作，我非常感谢
Ubuntu二进制tar包离线安装部署MariaDB数据库部署文件
06-21
Ubuntu二进制tar包离线安装部署MariaDB数据库部署文件 我的Ubuntu版本是16.04，mariadb版本是11.0.2，10版本我试了几个都不行，都需要依赖，所以就选择了比较新的11版本，可以去我的主页看一下怎么部署的，里面也有详细的部署说明
Ubuntu20.04.4系统下安装部署elasticsearch集群
最新发布
weixin_51717204的博客
02-23 873
上传elasticsearch7.6.2版本的二进制包；使用命令解压（"…修改/etc/passwd配置文件：切换为es用户：su es如果es启动提示jdk版本过低请自行百度；设置es远程访问，修改config/elasticsearch.yml配置文件启动es报错，解决报错问题：第一个报错问题解决，修改/etc/sysctl.conf配置文件添加以下代码，需要切换为root用户保存修改的配置后执行以下命令刷新配置：​。
Ubuntu20.04基于containerd二进制部署K8S 1.25.14集群资源合集
09-21
原文链接：https://blog.csdn.net/m0_37814112/article/details/133043606
linux-centos8/ubuntu20.04以上wkhtmltopdf二进制安装包
06-13
linux-centos8/ubuntu20.04以上wkhtmltopdf二进制安装包，不需要yum dnf apt 直接解压，开箱即用
Ubuntu20.04基于containerd二进制部署K8S v1.25.14集群(多主多从).pdf
09-22
说明： 1、基于containerd二进制部署高可用版K8S v1.25.14。 2、文档非常详细，花费了很大精力整理，里面的每一步操作都是本人部署时一步一步编写，经得起推敲，且进行过多次整理，已经非常完善，总共有52篇。
Ubuntu - 安装 Elasticsearch（ES）
学无止境
10-22 1265
命令测试 Elasticsearch 是否正常工作。默认情况下，Elasticsearch HTTP API 在端口 9200 上运行。如果一切正常，将看到 Elasticsearch 的信息（版本号等等）响应。安装并配置 Elasticsearch 后，使用它来存储和查询数据。如果一切正常，应该看到 Elasticsearch 服务正在运行。
边学边实战系列（九）：ElasticSearch 集群规划与运维经验总结
民工哥的博客
06-01 286
点关注公众号，回复“1024”获取2TB学习资源！前面介绍了索引管理、 DSL 查询、聚合查询、索引文档与读取文档流程、集群部署相关的知识点。今天我将详细的为大家介绍 ElasticSearch 集群规划与运维经验总结相关知识，希望大家能够从中收获多多！如有帮助，请点在看、转发支持一波！！！上一节，我们介绍了 ElasticSearch 集群的部署、分片以及故障转移相关的知识点，并结合实例学入学习...
ElasticSearch的环境搭建（Ubuntu系统）
m0_67401545的博客
08-16 770
Elaticsearch，简称为es， es是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理PB级别的数据。es也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能，但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂性，从而让全文搜索变得简单。根据DB-Engines的排名显示，Elasticsearch是最受欢迎的企业搜索引擎。...
Zhong__Ubuntu系统安装Elasticsearch笔记
Zhong的博客
04-28 249
QQ交流群：121160124 关注微信公众号：邂逅最美的时光 Ubuntu系统安装Elasticsearch 和CentOS系统步骤类似： 笔者系统为Ubuntu16.04 首先确定是否安装了Java环境 java -version 如果没有安装jdk 那么需要先安装 sudo apt install default-jdk 再次执行java -version查...
搭建Elasticsearch8.0集群
qq_39677803的博客
03-04 6028
机器三台： node1 192.168.199.201 node2 192.168.199.202 node3 192.168.199.203 PS:上面的机器名和后边要配置的集群节点名字没有任何关系，纯属巧合 首先在 192.168.199.201上操作，作为第一个节点 一、配置一下系统文件（root） cat >> /etc/security/limits.conf <<EOF * soft nofile 65536 * hard nofile 65536 *
[集群搭建]记录使用docker搭建elasticsearch集群
psiitoy的专栏
06-14 9597
记录使用docker搭建elasticsearch2.4.5集群1、 环境介绍本文运行环境 ubuntu16.04 + docker17.05 + 官网上下载的elasticsearch2.4.5，另外docker环境为openjdk:8-jre-alpine。（使用alpine的原因就是没有太多不必要的组件和命令，docker内部也不需要太多组件）1.1 ubuntu$ cat /proc/ver
《Linux运维总结：ubuntu20.04二进制部署elasticsearch6.8.23集群》
东城绝神
05-22 538
《Linux运维总结：ubuntu20.04二进制部署elasticsearch6.8.23集群》
如何在ubuntu中安装Elasticsearch
qq_38660394的博客
07-13 8151
ELK 是业界公认的一套完美的日志分析系统。其中的E 是 Elasticsearch的缩写，Elasticsearch是一款优秀的搜索服务器，它是基于Lucene的。想要探索ELK，那么首先要对Elasticsearch 进行学习。这篇经验是讲述Ubuntu下安装Elasticsearch的。工具/原料ElasticsearchJDK8方法/步骤1.进入我们自己的ubuntu系统，然后升级apt-...
ElasticStack运维必备技能-集群版
清水至清
10-09 604
那么，ELK 到底是什么呢？“ELK”是三个开源项目的首字母缩写，这三个项目分别是：Elasticsearch、Logstash 和 Kibana。Elasticsearch 是一个搜索和分析引擎。Logstash 是服务器端数据处理管道，能够同时从多个来源采集数据，转换数据，然后将数据发送到诸如 Elasticsearch 等“存储库”中。Kibana 则可以让用户在 Elasticsearch 中使用图形和图表对数据进行可视化。Elastic Stack 是 ELK Stack 的更新换代产品。
Ubuntu 安装elasticsearch集群
fyhju1的博客
05-09 629
环境准备 准备三台服务器搭建集群环境 node1 192.168.177.171 node2 192.168.177.172 node3 192.168.177.173 其中node1为吗，master节点，node2,node3为slave节点 注意：以下都需要sudo权限，普通用户获取sudo权限操作指令： 教你如何在Ubuntu中创建 Sudo用户_寰宇001的博客-CSDN博客_ubuntu创建sudo用户 普通用户切换root用户快速指.
Ubuntu 22.04 安装Elasticsearch 8.7.1
m0_54219225的博客
05-14 2498
Ubuntu 22.04 安装Elasticsearch 8.7.1，并单节点启动
ubuntu20.04怎样二进制部署k8s
05-20
在 Ubuntu 20.04 上二进制部署 Kubernetes 可以按照以下步骤进行： 1. 下载所需的 Kubernetes 二进制文件： ``` $ wget ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

东城绝神

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值