elasticsearch7.x集群安装

一、ES简介

1.ElasticSearch 是一个分布式、高扩展、高实时的搜索与数据分析引擎。它能很方便的使大量数据具有搜索、分析和探索的能力。充分利用ElasticSearch的水平伸缩性,能使数据在生产环境变得更有价值。ElasticSearch 的实现原理主要分为以下几个步骤,首先用户将数据提交到Elastic Search 数据库中,再通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据,当用户搜索数据时候,再根据权重将结果排名,打分,再将返回结果呈现给用户。 elasticsearch是与名为Logstash的数据收集和日志解析引擎以及名为Kibana的分析和可视化平台一起开发的。这三个产品被设计成一个集成解决方案,称为“Elastic Stack”(以前称为“ELK stack”)。 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。”Elasticsearch是分布式的,这意味着索引可以被分成分片,每个分片可以有0个或多个副本。每个节点托管一个或多个分片,并充当协调器将操作委托给正确的分片。再平衡和路由是自动完成的。“相关数据通常存储在同一个索引中,该索引由一个或多个主分片和零个或多个复制分片组成。一旦创建了索引,就不能更改主分片的数量。 Elasticsearch使用Lucene,并试图通过JSON和Java API提供其所有特性。它支持facetting和percolating,如果新文档与注册查询匹配,这对于通知非常有用。另一个特性称为“网关”,处理索引的长期持久性;例如,在服务器崩溃的情况下,可以从网关恢复索引。Elasticsearch支持实时GET请求,适合作为NoSQL数据存储,但缺少分布式事务。
2.当前开源搜索引擎排行,来源搜索引擎评级,可以看到Elasticsearch是近年来是搜索引擎评级的绝对领导者,通过能够在任何环境中工作,证明了其真正“有弹性”的名称。
[https://db-engines.com/en/ranking/search+engine]
搜索引擎热度

二、集群安装

1.下载

官网下载:选择版本下载 。本例选择7.2.1
在这里插入图片描述
本例linux版本是centos7 所以选择rpm包。下载文件:elasticsearch-7.2.1-x86_64.rpm

2.安装

2.1服务器说明

节点1:192.168.1.101
节点2:192.168.1.102
节点3:192.168.1.103
备注:虽然es集成了jdk但是安装的时候最好自己配置好jdk8+,避免出现各种问题。

2.2 执行安装命令

rpm -ivh  elasticsearch-7.2.1-x86_64.rpm

分别安装三个服务器,等待安装完成。

2.3 配置集群

es默认的配置文件路径:/etc/elasticsearch/elasticsearch.yml

  • 节点1
#集群名称 一个集群配置相同名称
cluster.name: application-test
#节点名称 唯一每个节点不同
node.name: node-1
node.master: true   //设置为主节点
#配置集群可发现节点
discovery.seed_hosts: ["192.168.1.101:9300", "192.168.1.102:9300", "192.168.1.103:9300"]
#主节点配置
cluster.initial_master_nodes: ["node-1"]
#本机IP
network.host: 192.168.1.101
#其他配置
http.cors.enabled: true
http.cors.allow-origin: "*"
  • 节点2
#集群名称 一个集群配置相同名称
cluster.name: application-test
#节点名称 唯一每个节点不同
node.name: node-2
node.master: false//不作为主节点
#配置集群可发现节点
discovery.seed_hosts: ["192.168.1.101:9300", "192.168.1.102:9300", "192.168.1.103:9300"]
#主节点配置
cluster.initial_master_nodes: ["192.168.1.101"]
#本机IP
network.host: 192.168.1.102
#其他配置
http.cors.enabled: true
http.cors.allow-origin: "*"
  • 节点3
集群名称 一个集群配置相同名称
cluster.name: application-test
#节点名称 唯一每个节点不同
node.name: node-3
node.master: false//不作为主节点
#配置集群可发现节点
discovery.seed_hosts: ["192.168.1.101:9300", "192.168.1.102:9300", "192.168.1.103:9300"]
#主节点配置
cluster.initial_master_nodes: ["192.168.1.101"]
#本机IP
network.host: 192.168.1.103
#其他配置
http.cors.enabled: true
http.cors.allow-origin: "*"

2.4 启动

先启动主节点-节点1,然后在启动其他两个节点。

systemctl start elasticsearch.service

2.5 说明

以上的配置只指定了一个主节点node-1,如果node-1停机了,集群也会瘫痪访问不了。
node.mater = false 设置是否能成为主节点,false是永远不可能成为主节点,true:表示有可能成为主节点,并不一定。跟指定的参 数cluster.initial_master_nodes 有关系。
当所有node都可为主节点时,如果主节点宕机,其他节点会再次选举一个新的主节点。

三、问题

1.集群启动失败问题

如果节点在未加入集群前启动过,可能是座位主节点启动的,需要把data目录和log目录的内容删掉。不然加入集群会失败。

  • 0
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Kubernetes是一个开源的容器编排平台,可以帮助我们轻松部署、扩展和管理容器化应用程序。Elasticsearch是一个分布式的实时搜索和分析引擎,可以帮助我们处理大量的数据。 要在Kubernetes上持久化部署Elasticsearch8.x集群,我们可以按照以下步骤进行操作: 1. 创建Kubernetes集群:首先,我们需要在Kubernetes上创建一个集群。可以选择在本地搭建Minikube环境,或者使用云服务提供商如AWS、Azure等提供的Kubernetes集群。 2. 创建Persisten Volume(PV)和Persisten Volume Claim(PVC):PV是Kubernetes中的一种资源,用于表示集群中的持久存储。PVC则是对PV的申请,用于声明需要的存储资源。我们需要创建足够的PV和PVC来提供给Elasticsearch使用。 3. 创建Elasticsearch Pod和Service:创建一个包含Elasticsearch容器的Pod,并且将其暴露为一个Service。可以使用Kubernetes的Deployment资源来定义Elasticsearch的Pod模板,以便实现自动扩展和故障恢复。 4. 配置Elasticsearch集群:在Elasticsearch的配置文件中,我们需要为每个节点配置唯一的节点名称、集群名称和网络绑定地址。此外,还需要指定master节点和data节点的角色和数量,并配置持久化存储路径。 5. 使用StatefulSet进行扩容:Elasticsearch是一个分布式系统,可以通过添加更多的节点来扩展其容量。为了实现有状态应用的扩容,可以使用Kubernetes的StatefulSet资源,它可以为每个节点提供唯一的网络标识和稳定的存储卷。 6. 监控和日志管理:为了保证Elasticsearch集群的稳定性和可用性,可以使用Kubernetes提供的监控和日志管理工具。比如,Prometheus可以帮助我们监控集群的健康状态,Elasticsearch官方提供的Elasticsearch Logstash Kibana(ELK)可以用于集中存储和分析日志。 通过以上步骤,我们就可以在Kubernetes上成功持久化部署Elasticsearch8.x集群。这样可以有效地管理和扩展我们的分布式搜索和分析引擎,并且确保数据的持久性和可靠性。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值