ElasticSearch部署手册

最新推荐文章于 2024-04-02 13:35:53 发布
最新推荐文章于 2024-04-02 13:35:53 发布
阅读量193 收藏
点赞数
文章标签： elasticsearch 大数据 搜索引擎
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gswcfl/article/details/130768811
版权
该文详细介绍了如何在CentOS7.6系统上部署Elasticsearch7.6.0的单节点和多节点集群，包括JDK的安装、系统参数配置、Elasticsearch的解压与权限设置、JVM内存配置、证书生成与安全设置、用户认证以及集群配置等步骤。此外，还提供了常用ES命令的示例。
摘要由CSDN通过智能技术生成

单节点部署

版本说明：

源代码安装ElasticSearch

软件名称版本
elasticsearch7.6.0
jdk1.8.0
Centos7.6CentOS-7-x86_64-Everything-1810

部署jdk

tar -xvf jdk-8u271-linux-x64.tar.gz -C /usr/local
#
vim /etc/profile
export JAVA_HOME=/usr/local/jdk1.8.0_271/
export PATH=$PATH:$JAVA_HOME/bin
source /etc/profile
java -version

系统配置

用户配置

useradd elasticsearch
echo “ElasticSearch” | passwd --stdin elasticsearch

系统参数配置

ulimit -n 65535
vim /etc/security/limits.conf
*  soft nproc 65536
*  hard nproc  65536
*  soft nofile  65536
*  hard nofile  65536
elasticsearch        soft    nproc           65536
elasticsearch        hard    nproc           65536
elasticsearch        soft    nofile          65536
elasticsearch        hard    nofile          65536
elasticsearch soft memlock unlimited
elasticsearch hard memlock unlimited
#
vim /etc/sysctl.conf
fs.file-max=655360
vm.max_map_count=262144
vm.swappiness = 1
sysctl -p
#

部署ElasticSearch

解压ElasticSearch

tar -xvf elasticsearch-7.6.0.tar.gz -C /usr/local/

修改用户权限

cd /usr/local
chown -R elasticsearch:elasticsearch elasticsearch-7.6.1

修改jvm内存
说明：根据内存大小修改

vim jvm.options
-Xms128m
-Xmx128m

生成证书

su elasticsearch
cd /usr/local/elasticsearch-7.6.0/bin
./elasticsearch-certutil ca
./elasticsearch-certutil cert --ca elastic-stack-ca.p12

说明：将证书文件移到config目录下，并赋予执行权限
配置elasticsearch.yml

cluster.name: my-application
node.name: localhost
node.master: true
bootstrap.memory_lock: true
bootstrap.system_call_filter: false
network.host: 0.0.0.0
http.port: 9200
http.cors.enabled: true
http.cors.allow-origin: "*"
xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.license.self_generated.type: basic
xpack.security.transport.ssl.keystore.path: elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: elastic-certificates.p12
http.cors.allow-headers: Authorization,X-Requested-With,Content-Length,Content-Type
discovery.seed_hosts: ["localhost"]
cluster.initial_master_nodes: ["localhost"]

配置认证用户

cd /usr/local/elasticsearch-7.6.0/bin
./elasticsearch-setup-passwords interactive

说明：interactive交互设置密码，auto自动设置密码

启动elasticsearch

su elasticsearch
cd /usr/local/elasticsearch-7.6.0/bin
nohup ./elasticsearch -d &

集群部署方式

环境

rpm部署方式

地址系统
192.168.30.129Centos7.6
192.168.30.130Centos7.6
192.168.30.131Centos7.6

系统配置

ulimit -n 65535
vim /etc/security/limits.conf
*  soft nproc 65536
*  hard nproc  65536
*  soft nofile  65536
*  hard nofile  65536
elasticsearch        soft    nproc           65536
elasticsearch        hard    nproc           65536
elasticsearch        soft    nofile          65536
elasticsearch        hard    nofile          65536
elasticsearch soft memlock unlimited
elasticsearch hard memlock unlimited
#
vim /etc/sysctl.conf
fs.file-max=655360
vm.max_map_count=262144
vm.swappiness = 1
sysctl -p
#

部署ElasticSearch

说明：分别在3个服务器部署

rpm -ivh elasticsearch-7.10.2-x86_64.rpm 
systemctl daemon-reload
systemctl enable elasticsearch.service
systemctl start elasticsearch.service

配置elasticsearch.yml

192.168.30.129配置

#集群名称
cluster.name: ES-MY
#节点名称，每个节点的名称不能重复
node.name: node-1
#每个节点的地址不能重复
network.host: 192.168.30.129
#是否有资格成为主节点
node.master: true
node.data: true
http.port: 9250
transport.tcp.port: 9350
#head插件需要打开这两个配置
http.cors.enabled: true
http.cors.allow-origin: "*"
http.max_content_length: 200mb
#es7.x之后新增配置，初始化一个新的集群时需要配置来选举master
cluster.initial_master_nodes: ["node-1"]
#es7.x之后新增配置，节点发现
discovery.seed_hosts: ["192.168.30.129:9350", "192.168.30.130:9350", "192.168.30.131:9350"]
gateway.recover_after_nodes: 2
network.tcp.keep_alive: true
network.tcp.no_delay: true
transport.tcp.compress: true
#集群内同时启动的数据任务个数，默认是2个
cluster.routing.allocation.cluster_concurrent_rebalance: 16
#添加或删除节点及负载均衡时并发恢复的线程个数，默认4个
cluster.routing.allocation.node_concurrent_recoveries: 16

启动elasticsearch

systemctl restart elasticsearch

查看ES集群列表

[root@localhost ~]# curl http://192.168.30.129:9250/_cat/nodes
192.168.30.129 24 86  1 0.04 0.12 0.13 cdfhilmrstw * node-1

192.168.30.130配置

#集群名称
cluster.name: ES-MY
#节点名称，每个节点的名称不能重复
node.name: node-2
#每个节点的地址不能重复
network.host: 192.168.30.130
#是否有资格成为主节点
node.master: true
node.data: true
http.port: 9250
transport.tcp.port: 9350
#head插件需要打开这两个配置
http.cors.enabled: true
http.cors.allow-origin: "*"
http.max_content_length: 200mb
#es7.x之后新增配置，初始化一个新的集群时需要配置来选举master
cluster.initial_master_nodes: ["node-1"]
#es7.x之后新增配置，节点发现
discovery.seed_hosts: ["192.168.30.129:9350", "192.168.30.130:9350", "192.168.30.131:9350"]
gateway.recover_after_nodes: 2
network.tcp.keep_alive: true
network.tcp.no_delay: true
transport.tcp.compress: true
#集群内同时启动的数据任务个数，默认是2个
cluster.routing.allocation.cluster_concurrent_rebalance: 16
#添加或删除节点及负载均衡时并发恢复的线程个数，默认4个
cluster.routing.allocation.node_concurrent_recoveries: 16

启动elasticsearch

systemctl restart elasticsearch

查看ES集群列表

[root@localhost ~]# curl http://192.168.30.129:9250/_cat/nodes
192.168.30.129 24 86  1 0.04 0.12 0.13 cdfhilmrstw * node-1
192.168.30.130 12 85 59 0.66 0.41 0.24 cdfhilmrstw - node-2

192.168.30.131配置

#集群名称
cluster.name: ES-MY
#节点名称，每个节点的名称不能重复
node.name: node-3
#每个节点的地址不能重复
network.host: 192.168.30.131
#是否有资格成为主节点
node.master: true
node.data: true
http.port: 9250
transport.tcp.port: 9350
#head插件需要打开这两个配置
http.cors.enabled: true
http.cors.allow-origin: "*"
http.max_content_length: 200mb
#es7.x之后新增配置，初始化一个新的集群时需要配置来选举master
cluster.initial_master_nodes: ["node-1"]
#es7.x之后新增配置，节点发现
discovery.seed_hosts: ["192.168.30.129:9350", "192.168.30.130:9350", "192.168.30.131:9350"]
gateway.recover_after_nodes: 2
network.tcp.keep_alive: true
network.tcp.no_delay: true
transport.tcp.compress: true
#集群内同时启动的数据任务个数，默认是2个
cluster.routing.allocation.cluster_concurrent_rebalance: 16
#添加或删除节点及负载均衡时并发恢复的线程个数，默认4个
cluster.routing.allocation.node_concurrent_recoveries: 16

启动elasticsearch

systemctl restart elasticsearch

查看ES集群列表

[root@localhost ~]# curl http://192.168.30.129:9250/_cat/nodes
192.168.30.131 23 86 18 0.74 0.30 0.19 cdfhilmrstw - node-3
192.168.30.130 12 85 59 0.66 0.41 0.24 cdfhilmrstw - node-2
192.168.30.129 24 86  1 0.04 0.12 0.13 cdfhilmrstw * node-1

认证配置

生成证书

cd /usr/share/elasticsearch/bin
./elasticsearch-certutil ca
./elasticsearch-certutil cert --ca elastic-stack-ca.p12

说明：将证书文件移到/etc/elasticsearch目录下，并赋予执行权限，同时将证书文件同步到192.168.30.130和192.168.30.131

启动x-pack配置

说明：192.168.30.129 192.168.30.130 192.168.30.131服务器的elasticsearch.yml同步追加x-pack配置，然后分别重启elasticsearch服务

#开启安全认证登录
xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
xpack.security.authc.accept_default_password: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: elastic-certificates.p12

配置密码

cd /usr/share/elasticsearch/bin
./elasticsearch-setup-passwords auto|interactive #或者将auto替换为interactive进行手动修改

修改分片数

说明：报错：this cluster currently has [14030]/[1000] maximum shards open
注释掉elasticsearch.yml中x-pack配置，撤销认证操作重启es集群，修改默认分片数（默认1000）

curl -XPUT -H "Content-Type:application/json" http://192.168.30.131:9200/_cluster/settings -d '{ "persistent": { "cluster": { "max_shards_per_node": 10000 } } }'

修改ES密码

curl -XPOST -u elastic "192.168.30.131:9200/_security/user/elastic/_password" -H 'Content-Type: application/json' -d'{"password" : "elastic123456"}'

常用ES命令

curl http://192.168.30.129:9250/_cat?pretty
=^.^=
/_cat/allocation
/_cat/shards
/_cat/shards/{index}
/_cat/master
/_cat/nodes
/_cat/tasks
/_cat/indices
/_cat/indices/{index}
/_cat/segments
/_cat/segments/{index}
/_cat/count
/_cat/count/{index}
/_cat/recovery
/_cat/recovery/{index}
/_cat/health
/_cat/pending_tasks
/_cat/aliases
/_cat/aliases/{alias}
/_cat/thread_pool
/_cat/thread_pool/{thread_pools}
/_cat/plugins
/_cat/fielddata
/_cat/fielddata/{fields}
/_cat/nodeattrs
/_cat/repositories
/_cat/snapshots/{repository}
/_cat/templates
/_cat/ml/anomaly_detectors
/_cat/ml/anomaly_detectors/{job_id}
/_cat/ml/trained_models
/_cat/ml/trained_models/{model_id}
/_cat/ml/datafeeds
/_cat/ml/datafeeds/{datafeed_id}
/_cat/ml/data_frame/analytics
/_cat/ml/data_frame/analytics/{id}
/_cat/transforms
/_cat/transforms/{transform_id}
#
#  *号表示为当前节点为主节点的意思
curl http://192.168.30.129:9250/_cat/nodes
192.168.30.131 45 86 0 0.01 0.06 0.12 cdfhilmrstw - node-3
192.168.30.130 40 87 0 0.00 0.01 0.09 cdfhilmrstw * node-2
192.168.30.129 20 88 0 0.00 0.01 0.05 cdfhilmrstw - node-1
#
curl http://192.168.30.129:9250/_cat/health?v
epoch      timestamp cluster status node.total node.data shards pri relo init unassign pending_tasks max_task_wait_time active_shards_percent
1642347463 15:37:43  ES-MY   green           3         3      6   3    0    0        0             0
gswcfl
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
ES部署手册.docx
06-06
Elasticsearch 是一个分布式、RESTful 风格的搜索和数据分析引擎，能够解决不断涌现出的各种用例。 作为 Elastic Stack 的核心，它集中存储您的数据，帮助您发现意料之中以及意料之外的情况。
Elasticsearch（一）——部署
jc_hook的博客
02-23 1024
最近遇到一个需求，需要用到Elasticsearch，于是开始学习Elasticsearch。我是个学东西先学实操再理论的人。所以开始着手安装Elasticsearch，并进行记录。
Elasticsearch集群部署详解
qq_43279371的博客
08-30 2162
目录: 1、Elasticsearch 特性 2、Elasticsearch 单节点安装部署 3、Elasticsearch 集群安装部署 4、附件&&问题集合 Elasticsearch功能与特性： （1）分布式搜索和分析引擎 （2）全文检索，结构化检索，数据分析 （3）对海量数据进行近实时的处理 分布式：ES自动可以将海量数据分散到多台服务器上存储和检索 海量数据的处理：分布式后，可采用大量的服务器存储和检索数据，从而实现海量数据的处理 近实时：在秒级别对数据进行搜索和分析 软件获取链
es的安装和部署
qq_46533159的博客
09-06 6590
Elaticsearch，简称为es，es是一个开源的高扩展的分布式全文检索引擎，它可以近乎实时的存储、检索数据;本身扩展性很好，可以扩展到上百台服务器，处理PB级别(大数据时代）的数据。es也使用java开发并使用Lucene作为其核心来实现所有索引和搜索的功能，但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂性，从而让全文搜索变得简单。
Elasticsearch部署文档
最新发布
一个杯子的博客
04-02 130
1）传输安装包并修改名称到/opt/server/elasticsearch。文件位置：/opt/server/elasticsearch/config。2、下载elasticsearch安装包（已经上传到同级的软件目录）文件名称：elasticsearch.yml。2）创建elasticsearch启动用户。3、修改elasticsearch配置文件。Elasticsearch部署文档。3、安装elasticsearch。5、启动elasticsearch。
elasticsearch超详细安装部署手册
11-03
本文将详细介绍在Linux和Windows系统上安装和部署Elasticsearch的详细步骤。 **Windows安装部署** 1. **下载与解压**：首先从官方渠道获取Elasticsearch的zip安装包，例如`elasticsearch-6.6.1.zip`，并将其解压到...
Elasticsearch 开发手册
09-08
Elasticsearch 开发手册 Elasticsearch 是一个开源的、高扩展的、分布式的、提供多用户能力的全文搜索引擎，也是一个基于 Lucene 搜索的服务器，可以近乎实时地存储和搜索数据。Elasticsearch 能很方便地用于对大量...
elasticsearch5.5.1部署手册1
08-08
《Elasticsearch 5.5.1 部署指南》 在IT行业中，Elasticsearch作为一款强大的开源全文搜索引擎，被广泛应用于日志分析、数据挖掘和实时数据分析等领域。本文将详细介绍如何在CentOS 6.4环境下，部署Elasticsearch ...
初识ES-安装kibana
Leon_Jinhai_Sun的博客
11-14 1024
部署kibana kibana可以给我们提供一个elasticsearch的可视化界面，便于我们学习。 部署 运行docker命令，部署kibana docker run -d \ --name kibana \ -e ELASTICSEARCH_HOSTS=http://es:9200 \ --network=es-net \ -p 5601:5601 \ kibana:7.12.1 --network es-net ：加入一个名为es-net的网络中，与elasticsearch在同一
ES部署使用及java接入手册
LaughingBi的博客
03-01 2905
通过ElasticSearch搜索。
Docker 简单部署 Elasticsearch 7.16.2 与使用文档超详细图文步骤
蜗牛的博客
01-06 4227
1、简介 1.1、概述 Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java语言开发的，并作为Apache许可条款下的开放源码发布，是一种流行的企业级搜索引擎。 1.2、官网 Elasticsearch 官网 2、准备工作 2.1、安装 Docker CentOS7 安装 Docker 2.2、创建 bridge 网络并指定 IP 区间 # 创建自定义网络 docker network
CentOS7下构建三节点Elasticsearch8集群
皆OK王的博客
05-23 1258
集群节点规划：版本信息：【所有ES节点操作】EOF。
Elasticsearch调优
Ω搬Θ砖O
08-11 1078
Elasticsearch调优 大部分情况下，不需要调整任何参数。如果在使用时了解调整结果的情况下，可以对部分参数进行调整，以期获取性能提高。 一般性的建议 不要返回大结果集 Elasticsearch被设计用作搜索引擎，在返回与查询结果最为相关的结果时性能超棒。但是如果它被用作数据库而需要返回所有与查询结果相关的记录，那么性能可能会稍微差点，如果非得这么做，一定要使用scroll. ...
ElasticSearch-安装部署全过程
Wzill
08-18 4177
是一个开源的分布式搜索和分析引擎，它建立在 Apache Lucene 搜索引擎库之上。它提供了一个分布式、多租户的全文搜索引擎，具有强大的实时搜索和分析能力。Elasticsearch 是用 Java 语言编写的，并且提供了 RESTful API，使其易于集成和使用。Kibana 是一个用于数据可视化和分析的开源工具。它提供了一个直观的 Web 界面，可以通过图表、仪表盘和报表等方式展示 Elasticsearch 中的数据。Kibana 支持实时数据可视化，并提供了强大的查询和过滤功能。
Elasticsearch离线文档安装部署教程（Elastic认证考试版）
Elastic开源社区
07-09 1249
鉴于备考环境需要经常访问官方文档，而官方访问速度齁慢齁慢。特此给出官方文档离线版食谱，各位客官细细品尝。
Elasticsearch基础入门与安装部署
小小默：进无止境
10-23 4374
【1】Elasticsearch概述 ① 什么是全文检索 全文检索是指计算机索引程序通过扫描文章中的每一个词，对每一个词建立一个索引，指明该词在文章中出现的次数和位置。当用户查询时，检索程序就根据事先建立的索引进行查找，并将查找的结果反馈给用户的检索方式。这个过程类似于通过字典中的检索字表查字的过程。全文搜索搜索引擎数据库中的数据。 ② lucene Lucene是apache软件基金会4 jak...
Elasticsearch 7.x 基本操作 (CRUD) 中文手册
easylife206的专栏
05-13 1119
公众号关注「奇妙的 Linux 世界」设为「星标」，每天带你玩转 Linux ！​一、概述Elasticsearch 是一个流行的开源搜索引擎，用于存储、搜索和分析数据。下面是 Elasticsearch 7.x 版本的基本操作（CRUD）：1、创建索引：PUT /index_name { "settings": { "number_of_shards": 1, "numbe...
Elasticsearch Windows集群搭建
菜鸡的博客
10-12 802
1、相关概念 1. 单机 & 集群 单台 Elasticsearch 服务器提供服务，往往都有最大的负载能力，超过这个阈值，服务器性能就会大大降低甚至不可用，所以生产环境中，一般都是运行在指定服务器集群中。 除了负载能力，单点服务器也存在其他问题： 单台机器存储容量有限 单服务器容易出现单点故障，无法实现高可用 单服务的并发处理能力有限 配置服务器集群时，集群中节点数量没有限制，大于等于 2 个节点就可以看做是集群了。一般出于高性能及高可用方面来考虑集群中节点数量都是 3 个以上。 2.
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

gswcfl

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值