Elasticsearch 7.1.1 集群搭建

最新推荐文章于 2024-06-27 00:24:54 发布
最新推荐文章于 2024-06-27 00:24:54 发布
阅读量305 收藏 1
点赞数 2
分类专栏： 搭建 文章标签： elasticsearch 大数据 big data nosql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m1141506955/article/details/119114247
版权

1 准备安装环境

1.1 安装JDK

elasticsearch 7.1.1 配置java8, java11

1.2 更改系统资源配置

  • 修改 /etc/sysctl.conf 文件，在文件末尾添加 vm.max_map_count=262144

    注意：修改完执行 sysctl -p，从指定的文件加载系统参数，如不指定即从/etc/sysctl.conf中加载

    查看结果 sysctl -a|grep vm.max_map_count

  • 修改 /etc/security/limits.conf 文件

    # 在文件末尾添加下面永久系统调优，修改文件描述符大小（65536）和进程最大数目
# *代表所有服务的用户名，也可设定用户，例如esuser
* soft nofile 65536
* hard nofile 65536
* soft nproc 4096
* hard nproc 4096

2 安装Elasticsearch集群

2.1 准备集群配置

三台机器，均用于保存数据且可被选为master节点

机器ipmaster节点data节点版本
172.16.153.3是是7.1.1
172.16.193.220是是7.1.1
172.16.193.239是是7.1.1

2.1.1 创建esuser用户

# 添加用户组
groupadd esuser
​
# 添加用户
useradd -m -g esuser esuser
​
# 配置密码
passwd esuser
​
# 在最后增加 sudo权限
esuser ALL=(ALL)  NOPASSWD:ALL

2.2 下载 & 安装

# 下载
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.1.1-linux-x86_64.tar.gz
​
# 解压
tar xvf elasticsearch-7.1.1-linux-x86_64.tar.gz
​
# 软链
ln -s elasticsearch-7.1.1 elasticsearch

2.3 配置

2.3.1 配置说明

参数说明
cluster.name集群名称，相同名称为一个集群
node.name节点名称，集群模式下每个节点名称唯一
node.master当前节点是否可以被选举为master节点，是：true、否：false
node.data当前节点是否用于存储数据，是：true、否：false
path.data索引数据存放的位置
path.logs日志文件存放的位置
bootstrap.memory_lock需求锁住物理内存，是：true、否：false
bootstrap.system_call_filterSecComp检测，是：true、否：false
network.host监听地址，用于访问该es
network.publish_host可设置成内网ip，用于集群内各机器间通信
http.portes对外提供的http端口，默认 9200
discovery.seed_hostses7.x 之后新增的配置，写入候选主节点的设备地址，在开启服务后可以被选为主节点
cluster.initial_master_nodeses7.x 之后新增的配置，初始化一个新的集群时需要此配置来选举master
http.cors.enabled是否支持跨域，是：true，在使用head插件时需要此配置
http.cors.allow-origin"*" 表示支持所有域名

2.3.2 详细配置

  • 172.16.153.3配置

    ​

    # 7.1.1 配置
​
# 增加如下：
cluster.name: my-application
​
node.name: node-1
node.master: true
node.data: true
​
path.data: /data/es/9200/data1,/data/es/9200/data2,/data/es/9200/data3
path.logs: /data/es/9200/logs
​
bootstrap.memory_lock: false
bootstrap.system_call_filter: false
​
network.host: 173.16.153.3
# 有些时候并不需要此配置，但我这里需要..
# network.publish_host: 173.26.153.48
transport.tcp.port: 9300
http.port: 9200
# discovery.seed_hosts: ["173.26.153.48","173.16.153.252","173.16.153.161"]
discovery.seed_hosts: ["173.16.153.3:9300","173.16.193.220:9300","173.16.193.239:9300"]
cluster.initial_master_nodes: ["173.16.153.3","173.16.193.220","173.16.193.239"]
gateway.recover_after_nodes: 2
cluster.routing.allocation.disk.threshold_enabled: false
​
​
http.cors.enabled: true
http.cors.allow-origin: "*"

  • 172.16.193.220配置

    ​

    # 7.1.1 配置
​
# 增加如下：
cluster.name: my-application
​
node.name: node-2
node.master: true
node.data: true
​
path.data: /data/es/9200/data1,/data/es/9200/data2,/data/es/9200/data3
path.logs: /data/es/9200/logs
​
bootstrap.memory_lock: false
bootstrap.system_call_filter: false
​
network.host: 173.16.193.220
# 有些时候并不需要此配置，但我这里需要..
# network.publish_host: 173.26.153.48
transport.tcp.port: 9300
http.port: 9200
# discovery.seed_hosts: ["173.26.153.48","173.16.153.252","173.16.153.161"]
discovery.seed_hosts: ["173.16.153.3:9300","173.16.193.220:9300","173.16.193.239:9300"]
cluster.initial_master_nodes: ["173.16.153.3","173.16.193.220","173.16.193.239"]
gateway.recover_after_nodes: 2
cluster.routing.allocation.disk.threshold_enabled: false
​
​
http.cors.enabled: true
http.cors.allow-origin: "*"
​

  • 172.16.193.239配置

    ​

    # 7.1.1 配置
​
# 增加如下：
cluster.name: my-application
​
node.name: node-3
node.master: true
node.data: true
​
path.data: /data/es/9200/data1,/data/es/9200/data2,/data/es/9200/data3
path.logs: /data/es/9200/logs
​
bootstrap.memory_lock: false
bootstrap.system_call_filter: false
​
network.host: 173.16.193.239
# 有些时候并不需要此配置，但我这里需要..
# network.publish_host: 173.26.153.48
transport.tcp.port: 9300
http.port: 9200
# discovery.seed_hosts: ["173.26.153.48","173.16.153.252","173.16.153.161"]
discovery.seed_hosts: ["173.16.153.3:9300","173.16.193.220:9300","173.16.193.239:9300"]
cluster.initial_master_nodes: ["173.16.153.3","173.16.193.220","173.16.193.239"]
gateway.recover_after_nodes: 2
cluster.routing.allocation.disk.threshold_enabled: false
​
​
http.cors.enabled: true
http.cors.allow-origin: "*"
​

2.3.3 分别修改 jvm.option

-Xms10g
-Xmx10g

2.3.4 添加es安装目录权限

chown -R esuser:esuser /opt/es

2.3.5 启动集群

./elasticsearch
​
# 后台运行
./elasticsearch -d

启动成功界面如下：

 

 

2.3.6 设置集群认证密码

2.3.6.1 生成证书

在172.16.153.3机器上执行 ：

bin/elasticsearch-certutil cert -out config/elastic-certificates.p12 -pass ""

注意： 密码后面需要单独设置，这里是集群安全认证，建议密码不设置，成功后生成的证书默认在es的config目录里面 elastic-certificates.p12；分别copy一份到其他节点的config里面（默认目录）

2.3.6.2 在elasticsearch.yml配置添加配置

​

xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: elastic-certificates.p12

2.3.6.3 重启集群并修改密码

bin/elasticsearch-setup-passwords interactive

  • elastic 账号：拥有 superuser 角色，是内置的超级用户。

  • kibana 账号：拥有 kibana_system 角色，用户 kibana 用来连接 elasticsearch 并与之通信。Kibana 服务器以该用户身份提交请求以访问集群监视 API 和 .kibana 索引。不能访问 index。

  • logstash_system 账号：拥有 logstash_system 角色。用户 Logstash 在 Elasticsearch 中存储监控信息时使用。

  • beats_system账号：拥有 beats_system 角色。用户 Beats 在 Elasticsearch 中存储监控信息时使用。

3 安装Kibana

# kibana.yml 配置
​
server.port: 5601
server.host: "173.26.153.48"
elasticsearch.hosts: ["http://173.16.153.3:9200","http://173.16.193.220:9200","http://173.16.193.239:9200"]
elasticsearch.username: "elastic"
elasticsearch.password: "123456"

附件：完整配置

  • 172.16.153.3配置

    # 7.1.1 配置
​
# 增加如下：
cluster.name: my-application
​
node.name: node-1
node.master: true
node.data: true
​
path.data: /data/es/9200/data1,/data/es/9200/data2,/data/es/9200/data3
path.logs: /data/es/9200/logs
​
bootstrap.memory_lock: false
bootstrap.system_call_filter: false
​
network.host: 173.16.153.3
# 有些时候并不需要此配置，但我这里需要..
# network.publish_host: 173.26.153.48
transport.tcp.port: 9300
http.port: 9200
# discovery.seed_hosts: ["173.26.153.48","173.16.153.252","173.16.153.161"]
discovery.seed_hosts: ["173.16.153.3:9300","173.16.193.220:9300","173.16.193.239:9300"]
cluster.initial_master_nodes: ["173.16.153.3","173.16.193.220","173.16.193.239"]
gateway.recover_after_nodes: 2
cluster.routing.allocation.disk.threshold_enabled: false
​
​
http.cors.enabled: true
http.cors.allow-origin: "*"
​
xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: elastic-certificates.p12

  • 172.16.193.220配置

    # 7.1.1 配置
​
# 增加如下：
cluster.name: my-application
​
node.name: node-2
node.master: true
node.data: true
​
path.data: /data/es/9200/data1,/data/es/9200/data2,/data/es/9200/data3
path.logs: /data/es/9200/logs
​
bootstrap.memory_lock: false
bootstrap.system_call_filter: false
​
network.host: 173.16.193.220
# 有些时候并不需要此配置，但我这里需要..
# network.publish_host: 173.26.153.48
transport.tcp.port: 9300
http.port: 9200
# discovery.seed_hosts: ["173.26.153.48","173.16.153.252","173.16.153.161"]
discovery.seed_hosts: ["173.16.153.3:9300","173.16.193.220:9300","173.16.193.239:9300"]
cluster.initial_master_nodes: ["173.16.153.3","173.16.193.220","173.16.193.239"]
gateway.recover_after_nodes: 2
cluster.routing.allocation.disk.threshold_enabled: false
​
​
http.cors.enabled: true
http.cors.allow-origin: "*"
​
xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: elastic-certificates.p12

  • 172.16.193.239配置

    # 7.1.1 配置
​
# 增加如下：
cluster.name: my-application
​
node.name: node-3
node.master: true
node.data: true
​
path.data: /data/es/9200/data1,/data/es/9200/data2,/data/es/9200/data3
path.logs: /data/es/9200/logs
​
bootstrap.memory_lock: false
bootstrap.system_call_filter: false
​
network.host: 173.16.193.239
# 有些时候并不需要此配置，但我这里需要..
# network.publish_host: 173.26.153.48
transport.tcp.port: 9300
http.port: 9200
# discovery.seed_hosts: ["173.26.153.48","173.16.153.252","173.16.153.161"]
discovery.seed_hosts: ["173.16.153.3:9300","173.16.193.220:9300","173.16.193.239:9300"]
cluster.initial_master_nodes: ["173.16.153.3","173.16.193.220","173.16.193.239"]
gateway.recover_after_nodes: 2
cluster.routing.allocation.disk.threshold_enabled: false
​
​
http.cors.enabled: true
http.cors.allow-origin: "*"
​
xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: elastic-certificates.p12
    ​
cmpony
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
ElasticSearch 集群
wssboke的博客
07-15 811
一、ElasticSearch 集群 1.1 搭建集群 Elasticsearch如果做集群的话Master节点至少三台服务器或者三个Master实例加入相同集群，三个Master节点最多只能故障一台Master节点，如果故障两个Master节点，Elasticsearch将无法组成集群.会报错，Kibana也无法启动，因为Kibana无法获取集群中的节点信息。 由于，我们使用只有一台虚拟机，所以我们在虚拟机中安装三个ES实例，搭建伪集群，而ES启动比较耗内存，所以先设置虚拟机的内存3G和CPU个数4个
elasticsearch-7.1.1-windows-x86_64.zip
08-21
Elasticsearch 是一个实时的分布式搜索分析引擎， 它能让你以一个之前从未有过的速度和规模，去探索你的数据。 它被用作全文检索、结构化搜索、分析以及这三个功能的组合： （1）、Wikipedia 使用 Elasticsearch 提供带有高亮片段的全文搜索，还有 search-as-you-type 和 did-you-mean 的建议。 （2）、卫报 使用 Elasticsearch 将网络社交数据结合到访客日志中，实时的给它的编辑们提供公众对于新文章的反馈。 （3）、Stack Overflow 将地理位置查询融入全文检索中去，并且使用 more-like-this 接口去查找相关的问题与答案。 （4）、GitHub 使用 Elasticsearch 对1300亿行代码进行查询。 然而 Elasticsearch 不仅仅为巨头公司服务。它也帮助了很多初创公司，像 Datadog 和 Klout， 帮助他们将想法用原型实现，并转化为可扩展的解决方案。Elasticsearch 能运行在你的笔记本电脑上，或者扩展到上百台服务器上去处理PB级数据。
ElasticSearch7.1.1集群搭建(上)
JAVAzhangchi的博客
09-17 391
ElasticSearch7.1.1集群搭建--前篇环境：centos7与docker安装必要的装机软件安装docker合理的创建标题，有助于目录的生成如何改变文本的样式如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart...
Elasticsearch环境搭建|ES单机|ES单节点模式启动|ES集群搭建|ES集群环境搭建
最新发布
浣花御劍
06-27 2071
ES单节点模式 | ES集群环境搭建
Centos7 部署 Elasticsearch 7.1.1
Prometheusxx的博客
07-01 230
下载 wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.1.1-linux-x86_64.tar.gz 解压（解压到当前目录：/home/work/） tar -zxvf elasticsearch-7.1.1-linux-x86_64.tar.gz 配置 3.1 添加 work 用户组 ...
1.Elasticsearch集群搭建
wang37444的专栏
05-08 418
1.Elasticsearch简介 ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。 2.下载安装包 这里我们下载的是ela...
详解ElasticSearch6.4.0集群搭建
08-26
在 es-slave 节点上，使用同样的命令启动 ElasticSearch 服务。 集群测试 搭建集群后，需要进行测试，包括集群健康状态、节点状态、索引状态等。 搭建 ElasticSearch 6.4.0 集群需要经过软件准备、环境规划、修改...
ElasticSearch集群搭建.doc
12-15
在本文中，我们将深入探讨如何搭建Elasticsearch集群以及索引分片的相关概念。Elasticsearch是一个分布式的、实时的搜索和分析引擎，它能够处理大量数据并提供高效的检索服务。在多节点环境下构建Elasticsearch集群...
ElasticSearch 8.6集群搭建过程
08-22
【Elasticsearch 8.6集群搭建过程详解】 Elasticsearch 是一款强大的全文检索服务器，专为处理非结构化数据而设计。与结构化数据（通常存储在数据库中，通过SQL查询）不同，非结构化数据如文本、图片等无法用固定的...
elasticsearch7.1.1
02-04
**Elasticsearch 7.1.1：分布式搜索引擎与分析引擎** Elasticsearch 是一个开源的、基于 Lucene 的全文搜索引擎，它具有分布式、实时、可扩展的特点，被广泛应用于日志分析、实时监控、数据搜索等领域。7.1.1 版本...
elasticsearch集群搭建步骤6.2.2.docx
06-02
"Elasticsearch 集群...搭建 Elasticsearch 集群需要遵循严格的步骤，包括安装准备、JDK 安装、ES 安装及配置、集群搭建、集群优化和集群维护等步骤。只有遵循这些步骤，我们才能搭建一个高效的 Elasticsearch 集群。
elasticsearch-1.7.1
12-20
elasticsearch-1.7.1低版本
elasticsearch7.1.1安装和配置.pdf
11-14
ElasticSearch7.1.1安装与配置，在centos7.2下面的安装和配置方法，亲身实践的产物，和大家一起分享
elasticsearch 集群的搭建
taizhen/blog
06-23 582
1. 首先要确定每台linux 主机的防火墙以关闭了。可以通过 service iptables  stop  命令来关闭防火墙。 2. 要坚持这个原则，在es的config 下的配置文件xxx.yml 文件最好不要有太多的改动。即使改动也要在配置文件的基础上改动，意思是比如（es配置一部分） # The default list of hosts is ["127.0.0.1", "
搭建 Elasticsearch 集群
a13568hki的博客
11-03 199
怎样搭建 Elasticsearch 6.5.4集群 1-1、准备环境 采用三台CentOS6.5部署Elasticsearch集群，部署Elasticsearch集群就不得不提索引分片，以下是索引分片的简单介绍。 系统 节点名称 IP地址 centos 6.5 els-node1 192.168.60.201 centos 6.5 els-node2 192.168.60.201 centos 6.5 els-node3 192.168.60.201 ES集群中索引可能由多个分
ElasticSearch 集群的搭建
weixin_50443012的博客
12-09 162
ElasticSearch 集群的搭建 安装ElasticSearch 确定服务器中有jdk 创建ES安装目录 将ES的压缩包上传到这个文件下 压缩包下载地址：Elasticsearch 7.6.2 | Elastic 注意点：解压后到解压的文件夹下查看是否有data 和 logs 文件夹，没有则创建。 解压压缩包：tar zxvf elasticsearch-7.6.2-linux-x86_64.tar.gz 修改ES的配置文件 1.找到jvm.options文件修改ES占用的内存...
搭建ElasticSearch集群
qq_41311979的博客
03-14 91
一、创建用户 创建用户的原因由于ES版本5.0以后不能使用root用户启动ES [root@hadoop102 ~]# useradd es [root@hadoop102 ~]# passwd es 二、准备Java环境 三、下载安装包 四、解压安装包 [root@hadoop102 software]# tar -zxvf elasticsearch-6.3.1.tar.gz -C /opt/module/ 五、配置 jvm.options 主要是调整内存，es启动需要较大内存，如果内存不足就会启
ElasticSearch集群的搭建
zhiyikeji的博客
02-07 2859
ES集群是一个P2P类型(使用 gossip 协议)的分布式系统，除了集群状态管理以外，其他所有的请求都可以发送到集群内任意一台节点上，这个节点可以自己找到需要转发给哪些节点，并且直接跟这些节点通信。在 Elasticsearch 2.0 之前，无阻碍的网络下，所有配置了相同 cluster.name 的节点都自动归属到一个集群中。pretty进行查看。当一个节点配置tribe.*的时候，它是一个特殊的客户端，它可以连接多个集群，在所有连接的集群上执行 搜索和其他操作。
elasticsearch7.9.0 集群搭建
11-04
Elasticsearch7.9.0是一个开源的分布式搜索和分析引擎，用于构建高效、可扩展的实时搜索解决方案。要搭建Elasticsearch7.9.0集群，需要按照以下步骤进行操作： 1. 下载和安装Elasticsearch7.9.0：从官方网站上下载Elasticsearch7.9.0压缩包，并解压到合适的目录下。 2. 配置Elasticsearch集群参数：在每个节点上的elasticsearch.yml配置文件中，设置集群名称、节点名称、绑定IP地址等参数。确保每个节点的配置文件相同，以便节点可以识别彼此。 3. 修改JVM配置：根据服务器的硬件配置和需求，修改jvm.options文件中的内存分配参数，以确保Elasticsearch能够充分利用可用的系统资源。 4. 启动Elasticsearch节点：在每个节点的终端或命令行中，切换到Elasticsearch的安装目录，并运行./bin/elasticsearch命令来启动节点。确保每个节点都能正常启动。 5. 集群发现和节点自动加入：在elasticsearch.yml配置文件中，配置集群发现机制，如使用单播或多播，以及设置初始主节点。这将使得新的节点能够自动连接到现有的Elasticsearch集群。 6. 验证集群状态：使用curl或其他HTTP客户端发送请求到任意一个节点的IP地址和端口号，查看集群的状态信息。确保所有的节点都连接到集群，并且状态正常。 7. 索引和搜索数据：使用Elasticsearch的REST API或Java客户端，可以索引和搜索数据。通过创建索引、定义映射、增删改查操作可以实现灵活和高效的搜索和分析功能。 8. 监控集群健康和性能：使用Elasticsearch提供的监控工具或第三方插件，可以实时监控集群的健康状态、性能指标和查询性能。这有助于及时发现和解决潜在的问题。 总结：以上是搭建Elasticsearch7.9.0集群的基本步骤。搭建集群后，可以实现数据的高可用性、可扩展性和分布式计算，为企业提供全文搜索、日志分析等功能。通过合理的集群配置、优化和监控，可以提高集群的性能和稳定性。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值