helm安装elasticsearch和kibana

于 2024-05-30 09:55:18 发布
阅读量784 收藏 6
点赞数 14
分类专栏： helm从入门到实践 文章标签： elasticsearch 大数据 搜索引擎
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liu289747235/article/details/139314524
版权

一、介绍

  • Elasticsearch 是一个分布式的搜索和分析引擎，可以用于全文检索、结构化检索和分析，并能将这三者结合起来。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便，轻松扩展服务节点，更能用于日志收集快速检索等等一些列功能。
  • Kibana 是一个为 Elasticsearch 平台分析和可视化的开源平台，使用 Kibana 能够搜索、展示存储在 Elasticsearch 中的索引数据。使用它可以很方便用图表、表格、地图展示和分析数据。

二、资源准备

ElasticSearch 安装有最低安装要求，如果执行 Helm 安装命令后 Pod 无法正常启动，请检查是否符合最低要求的配置。

1、资源要求

ElasticSearch节点

CPU最小要求

内存最小要求

Kubernetes master

核心数 > 2

内存 > 2Gi

Kubernetes data

核心数 > 1

内存 > 2Gi

Kubernetes client

核心数 > 1

内存 > 2Gi

2、ElasticSearch 集群环境

集群名称

节点类型

副本数目

存储大小

网络模式

描述

elasticsearch

Kubernetes Master

3

5Gi

ClusterIP

主节节点，用于控制 ES 集群

elasticsearch

Kubernetes Data

3

50Gi

ClusterIP

数据节点，用于存储 ES 数据

elasticsearch

Kubernetes Client

2

无

NodePort（30200）

负责处理用户请求，实现请求转发、负载均衡

3、Kibana 环境信息

应用名称

副本数目

存储大小

网络模式

描述

Kibana

1

无

NodePort（30601）

用于展示 ElasticSearch 数据的应用

三、创建集群证书

ElasticSearch 7.x 版本默认安装了 ​​X-Pack​​ 插件，并且部分功能免费，这里我们配置安全证书文件。

生成证书

# 拉取镜像
ctr images pull docker.io/library/elasticsearch:7.7.1
# 运行容器生成证书（将本地目录/app1挂载到容器/app1上）
ctr run --mount type=bind,src=/app1,dst=/app1,options=rbind:rw  docker.io/library/elasticsearch:7.7.1 elastic-charts-certs  /bin/sh -c    \
"elasticsearch-certutil ca --out /app1/elastic-stack-ca.p12 --pass '' && \
    elasticsearch-certutil cert --name security-master --dns \
    security-master --ca /app1/elastic-stack-ca.p12 --pass '' --ca-pass '' --out /app1/elastic-certificates.p12"

# 从容器中将生成的证书拷贝出来

# 删除容器和快照
ctr container rm elastic-charts-certs
ctr snapshots rm elastic-charts-certs

将 pcks12 中的信息分离出来，写入文件，这里将生成elastic-certificate.pem

[root@k8s-master01 app1]# ls
elastic-certificates.p12  elastic-stack-ca.p12
# 将 pcks12 中的信息分离出来，写入文件
[root@k8s-master01 app1]# openssl pkcs12 -nodes -passin pass:'' -in elastic-certificates.p12 -out elastic-certificate.pem
MAC verified OK
[root@k8s-master01 app1]# ls
elastic-certificate.pem  elastic-certificates.p12  elastic-stack-ca.p12

添加证书

# 添加证书
kubectl create secret generic elastic-certificates --from-file=elastic-certificates.p12
kubectl create secret generic elastic-certificate-pem --from-file=elastic-certificate.pem

# 设置集群用户名密码，用户名不建议修改
kubectl create secret generic elastic-credentials \
  --from-literal=username=elastic --from-literal=password=admin123

四、配置应用参数

ElasticSearch 与 Kibana 的 Helm Chart 模板是 ES 官方 Github 获取的，它的 Github 地址为 https://github.com/elastic/helm-charts 可以访问该地址了解更多信息。

1、配置应用参数

es-master-values.yaml

---
## 设置集群名称
clusterName: "elasticsearch"
## 设置节点名称
nodeGroup: "master"
## 设置角色
roles:
  master: "true"
  ingest: "false"
  data: "false"

## 指定镜像与镜像版本
image: "docker.elastic.co/elasticsearch/elasticsearch"
imageTag: "7.7.1"
imagePullPolicy: "IfNotPresent"
## 副本数
replicas: 3

## JVM 配置参数
esJavaOpts: "-Xmx1g -Xms1g"
## 部署资源配置(生成环境一定要设置大些)
resources:
  requests:
    cpu: "1000m"
    memory: "2Gi"
  limits:
    cpu: "1000m"
    memory: "2Gi"
## 数据持久卷配置
persistence:
  enabled: true
volumeClaimTemplate:
  accessModes: [ "ReadWriteOnce" ]
  resources:
    requests:
      storage: 30Gi
# ============安全配置============
protocol: http
## 证书挂载配置，这里我们挂入上面创建的证书
secretMounts:
  - name: elastic-certificates
    secretName: elastic-certificates
    path: /usr/share/elasticsearch/config/certs
## 允许您在/usr/share/elasticsearch/config/中添加任何自定义配置文件,例如 elasticsearch.yml
## ElasticSearch 7.x 默认安装了 x-pack 插件，部分功能免费，这里我们配置下
## 下面注掉的部分为配置 https 证书，配置此部分还需要配置 helm 参数 protocol 值改为 https
esConfig:
  elasticsearch.yml: |
    xpack.security.enabled: true
    xpack.security.transport.ssl.enabled: true
    xpack.security.transport.ssl.verification_mode: certificate
    xpack.security.transport.ssl.keystore.path: /usr/share/elasticsearch/config/certs/elastic-certificates.p12
    xpack.security.transport.ssl.truststore.path: /usr/share/elasticsearch/config/certs/elastic-certificates.p12
    # xpack.security.http.ssl.enabled: true
    # xpack.security.http.ssl.truststore.path: /usr/share/elasticsearch/config/certs/elastic-certificates.p12
    # xpack.security.http.ssl.keystore.path: /usr/share/elasticsearch/config/certs/elastic-certificates.p12
extraEnvs:
  - name: ELASTIC_USERNAME
    valueFrom:
      secretKeyRef:
        name: elastic-credentials
        key: username
  - name: ELASTIC_PASSWORD
    valueFrom:
      secretKeyRef:
        name: elastic-credentials
        key: password
# ============调度配置============
## 设置调度策略
## - hard：只有当有足够的节点时 Pod 才会被调度，并且它们永远不会出现在同一个节点上
## - soft：尽最大努力调度
antiAffinity: "hard"
## 容忍配置（一般 kubernetes master 或其它设置污点的节点，只有指定容忍才能进行调度，如果测试环境只有三个节点，则可以开启在 master 节点安装应用）
#tolerations:
#  - operator: "Exists"  ##容忍全部污点

​es-data-values.yaml​

---
## 设置集群名称
clusterName: "elasticsearch"
## 设置节点名称
nodeGroup: "master"
## 设置角色
roles:
  master: "false"
  ingest: "true"
  data: "true"

## 指定镜像与镜像版本
image: "docker.elastic.co/elasticsearch/elasticsearch"
imageTag: "7.7.1"
imagePullPolicy: "IfNotPresent"
## 副本数
replicas: 3

## JVM 配置参数
esJavaOpts: "-Xmx1g -Xms1g"
## 部署资源配置(生成环境一定要设置大些)
resources:
  requests:
    cpu: "1000m"
    memory: "2Gi"
  limits:
    cpu: "1000m"
    memory: "2Gi"
## 数据持久卷配置
persistence:
  enabled: true
volumeClaimTemplate:
  accessModes: [ "ReadWriteOnce" ]
  resources:
    requests:
      storage: 30Gi
# ============安全配置============
protocol: http
## 证书挂载配置，这里我们挂入上面创建的证书
secretMounts:
  - name: elastic-certificates
    secretName: elastic-certificates
    path: /usr/share/elasticsearch/config/certs
## 允许您在/usr/share/elasticsearch/config/中添加任何自定义配置文件,例如 elasticsearch.yml
## ElasticSearch 7.x 默认安装了 x-pack 插件，部分功能免费，这里我们配置下
## 下面注掉的部分为配置 https 证书，配置此部分还需要配置 helm 参数 protocol 值改为 https
esConfig:
  elasticsearch.yml: |
    xpack.security.enabled: true
    xpack.security.transport.ssl.enabled: true
    xpack.security.transport.ssl.verification_mode: certificate
    xpack.security.transport.ssl.keystore.path: /usr/share/elasticsearch/config/certs/elastic-certificates.p12
    xpack.security.transport.ssl.truststore.path: /usr/share/elasticsearch/config/certs/elastic-certificates.p12

extraEnvs:
  - name: ELASTIC_USERNAME
    valueFrom:
      secretKeyRef:
        name: elastic-credentials
        key: username
  - name: ELASTIC_PASSWORD
    valueFrom:
      secretKeyRef:
        name: elastic-credentials
        key: password
# ============调度配置============
## 设置调度策略
## - hard：只有当有足够的节点时 Pod 才会被调度，并且它们永远不会出现在同一个节点上
## - soft：尽最大努力调度
antiAffinity: "hard"
## 容忍配置（一般 kubernetes master 或其它设置污点的节点，只有指定容忍才能进行调度，如果测试环境只有三个节点，则可以开启在 master 节点安装应用）
#tolerations:
#  - operator: "Exists"  ##容忍全部污点

​es-client-values.yaml​

---
## 设置集群名称
clusterName: "elasticsearch"
## 设置节点名称
nodeGroup: "master"
## 设置角色
roles:
  master: "false"
  ingest: "false"
  data: "false"

## 指定镜像与镜像版本
image: "docker.elastic.co/elasticsearch/elasticsearch"
imageTag: "7.7.1"
imagePullPolicy: "IfNotPresent"
## 副本数
replicas: 3

## JVM 配置参数
esJavaOpts: "-Xmx1g -Xms1g"
## 部署资源配置(生成环境一定要设置大些)
resources:
  requests:
    cpu: "1000m"
    memory: "2Gi"
  limits:
    cpu: "1000m"
    memory: "2Gi"
## 数据持久卷配置
persistence:
  enabled: true
volumeClaimTemplate:
  accessModes: [ "ReadWriteOnce" ]
  resources:
    requests:
      storage: 30Gi
# ============安全配置============
protocol: http
## 证书挂载配置，这里我们挂入上面创建的证书
secretMounts:
  - name: elastic-certificates
    secretName: elastic-certificates
    path: /usr/share/elasticsearch/config/certs
## 允许您在/usr/share/elasticsearch/config/中添加任何自定义配置文件,例如 elasticsearch.yml
## ElasticSearch 7.x 默认安装了 x-pack 插件，部分功能免费，这里我们配置下
## 下面注掉的部分为配置 https 证书，配置此部分还需要配置 helm 参数 protocol 值改为 https
esConfig:
  elasticsearch.yml: |
    xpack.security.enabled: true
    xpack.security.transport.ssl.enabled: true
    xpack.security.transport.ssl.verification_mode: certificate
    xpack.security.transport.ssl.keystore.path: /usr/share/elasticsearch/config/certs/elastic-certificates.p12
    xpack.security.transport.ssl.truststore.path: /usr/share/elasticsearch/config/certs/elastic-certificates.p12

extraEnvs:
  - name: ELASTIC_USERNAME
    valueFrom:
      secretKeyRef:
        name: elastic-credentials
        key: username
  - name: ELASTIC_PASSWORD
    valueFrom:
      secretKeyRef:
        name: elastic-credentials
        key: password
# ============调度配置============
## 设置调度策略
## - hard：只有当有足够的节点时 Pod 才会被调度，并且它们永远不会出现在同一个节点上
## - soft：尽最大努力调度
antiAffinity: "hard"
## 容忍配置（一般 kubernetes master 或其它设置污点的节点，只有指定容忍才能进行调度，如果测试环境只有三个节点，则可以开启在 master 节点安装应用）
#tolerations:
#  - operator: "Exists"  ##容忍全部污点

Kibana 安装的配置文件es-kibana-values.yaml​

---
## 指定镜像与镜像版本
image: "docker.elastic.co/kibana/kibana"
imageTag: "7.7.1"
## 配置 ElasticSearch 地址
elasticsearchHosts: "http://elasticsearch-master:9200"
# ============环境变量配置============
## 环境变量配置，这里引入上面设置的用户名、密码 secret 文件
extraEnvs:
  - name: ELASTICSEARCH_USERNAME
    valueFrom:
      secretKeyRef:
        name: elastic-credentials
        key: username
  - name: ELASTICSEARCH_PASSWORD
    valueFrom:
      secretKeyRef:
        name: elastic-credentials
        key: password
# ============资源配置============
resources:
  requests:
    cpu: "1000m"
    memory: "2Gi"
  limits:
    cpu: "1000m"
    memory: "2Gi"
# ============配置 Kibana 参数============
kibanaConfig:
  kibana.yml: |
    i18n.locale: "zh-CN"
# ============Service 配置============
service:
  type: NodePort
  nodePort: "30601"

五、Helm 安装 ElasticSearch

ElaticSearch 安装需要安装三次，分别安装 ElasticSearch Master、ElasticSearch Data、ElasticSearch Client 三组。

  • 安装的第一组 ElasticSearch 作为 Master 角色节点，负责集群间的管理工作；
  • 安装的第二组 ElasticSearch 作为 Data 节点，负责存储数据；
  • 安装的第三组 ElasticSearch 作为 Client 节点，负责代理 ElasticSearch Cluster 集群，负载均衡。
# 添加 Chart 仓库
helm repo add  elastic    https://helm.elastic.co
helm repo update

# 安装 ElasticSearch Master 节点
helm install elasticsearch-master -f es-master-values.yaml --version 7.7.1 elastic/elasticsearch

# 安装 ElasticSearch Data 节点
helm install elasticsearch-data -f es-data-values.yaml --version 7.7.1 elastic/elasticsearch

# 安装 ElasticSearch Client 节点
helm install elasticsearch-client -f es-client-values.yaml --version 7.7.1 elastic/elasticsearch

3 Helm 安装 Kibana

helm install kibana -f es-kibana-values.yaml --version 7.7.1 elastic/kibana
流光影下
关注
  • 14
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
elastic-charts：弹性图表库
02-05
弹性图 :police_car_light: 警告虽然是开源的，但此存储库的预期使用者是Elastic产品。 详细阅读 。 您应该查看我们的，其中包含许多示例，这些示例说明了图表的外观和感觉以及如何在产品中使用它们。 您也可以在此处检查并派生示例，以直接播放代码 安装 要将Elastic Charts安装到现有项目中，请使用yarn CLI（不支持npm ）。 yarn add @elastic/charts 重要提示：有关详细的安装要求，请参见Wiki。 本地运行 节点 我们依赖于定义的节点版本。 您可能需要安装节点版本管理器。 建议使用 。 要使用nvm安装和使用正确的节点版本： nvm install 开发
使用Helm安装ECK Operator和搭建Elasticsearch集群
oJeremy12的博客
03-25 4142
1.为什么ECK Elastic Cloud on Kubernetes，Kubernetes 上的 Elastic Cloud 基于operator在 Kubernetes 上自动执行 Elasticsearch、Kibana、APM Server、Enterprise Search、Beats、Elastic Agent 和 Elastic Maps Server 的部署、配置、管理和编排。 目前的特点包括： Elasticsearch、Kibana、APM 服务器、企业搜索和 Beats 部署.
Helm部署ElasticSearch & Kibana 7 集群
学亮编程手记
02-05 2247
一、简介 Elasticsearch 是一个分布式的搜索和分析引擎，可以用于全文检索、结构化检索和分析，并能将这三者结合起来。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便，轻松扩展服务节点，更能用于日志收集快速检索等等一些列功能。 Kibana 是一个为 Elasticsearch 平台分析和可视化的开源平台，使用 Kibana 能够搜索、展示存储在 Elasticsearch 中的索引数据。使用它可以很方便用图表、表格、地图展示和分析数据。 Helm：Helm（注意：helm 2.
Helm 安装 ElasticSearch & Kibana
测试
05-14 5484
目录[-] 系统环境： Kubernetes 版本：1.14.0 helm-Client 版本：v2.13.0 helm-Server 版本：v2.13.0 Kibana 版本：6.7.0 ...
通过helm方式安装elasticsearch 7.17.3
鬼斩
08-17 1329
安装elasticsearch有很多种方法，比如裸机安装、通过docker安装、通过k8s pod安装、通过Helm安装。本文提供了通过Helm安装elasticsearch集群的方案，该方案出自于es官方。做了点小改动，可以直接在k8s集群中运行。
k8s集群通过helm部署skywalking
云深海阔专栏
12-25 1470
下载apache-skywalking-apm-es7后，解压文件，将解压目录下的agent目录，存放到nfs下，然后挂载到java对应的pod服务,并将对应的文件加目录挂载到pods的/usr/skywalking/agent/下。A、查看skywalking-skywalking-helm-oap的相关文件内容。A、查看skywalking-skywalking-helm-ui的相关文件内容。C、ingress的配置文件内容。3、安装skypwalk服务。service文本内容。
helm安装代码和依赖镜像.rar
11-02
使用说明，见这篇博客，【Kubernetes】k8s的helm包管理与应用详细说明与操作【helm安装、heml仓库管理和搭建私有仓库】：https://cuichongxin.blog.csdn.net/article/details/121060695
mac安装helm以及文档说明
07-06
mac安装helm-v3.0.2-darwin-amd64.tar.gz 直接把helm放到/usr/local/bin/helm目录下 直接在控制台打印 ---helm version 显示version.BuildInfo{Version:"v3.0.2", GitCommit:"19e47ee3283ae98139d98460de796c1be1e...
helm安装私有仓库及搭建hadoop实例过程文档
06-07
通过以上步骤，你不仅学会了如何安装和使用Helm，还掌握了如何搭建私有仓库以及通过仓库部署Hadoop实例。这些知识对于在Kubernetes环境中管理和部署复杂应用具有极大的价值。在实际工作中，你可以根据需求调整和扩展...
terraform-helm:Helm图表以安装Terraform Cloud Operator和其他相关组件
05-09
Terraform Cloud Operator舵图该存储库包含用于在Kubernetes上安装和配置Terraform Cloud Operator的官方HashiCorp Helm图表。 该图表根据提供的值支持Kubernetes上Terraform的多个使用案例。 该在官方的。先决条件...
consul-helm:Helm图表以安装Consul和其他相关组件
03-19
:star:该存储库包含用于在Kubernetes上安装和配置Consul的官方HashiCorp Helm图表。该图表根据提供的值支持Kubernetes上Consul的多个使用案例。有关此Helm图表的完整文档以及将Consul与Kubernetes结合使用的所有...
rancher helm 部署安全 elasticsearch
m0_67393593的博客
04-22 446
官方 helm：https://github.com/elastic/helm-charts/blob/v7.16.2/elasticsearch 查看官方的例子，可以看到要修改的点有 elasticsearch.yml 设置开启 xpack 在生产环境中，开启 xpack 必须开启 transport 的 ssl，所以还要生成证书并挂载 es 超级管理员 elastic 的密码 在修改 values.yaml 文件之前，我们要先创建用户密码的 secret 文件和证书的 secret 文件 创建密码的
helm3 部署ES集群
qq_23191379的博客
05-17 1248
文章目录@[toc] 部署说明： k8s集群需要有默认storageclass可以动态创建pv添加helm源自定义values.yaml文件安装es升级es 部署说明： k8s集群需要有默认storageclass可以动态创建pv 添加helm源 helm repo add elastic https://helm.elastic.co helm repo update 自定义values.yaml文件 clusterName: "es" nodeGroup: "master" replicas: 3
使用helm离线部署ElasticSearch集群+kibana
weixin_44284982的博客
08-15 582
部署es先决条件：es-7.7.1.tar #es镜像包 docker load -i es-7.7.1.tarkibana-7.7.1.tar #kibana镜像包 docker load -i kibana-7.7.1.tar如果没有可以使用docker 下载已存在命名空间efkhelm ：v3.+helm-charts-7.7.zip #git上面直接找历史tag 直接下载zip包就行了已有存储卷：nfs-stogis #自己创建的存储类。
Helm部署ElasticSearch集群 客户端如何通过http访问呢？
最新发布
xmops的博客
04-22 274
笔者最近痴迷于把有状态的中间件都部署进K8S里面，遇到elasticsearch不论怎么调试都无法把客户端访问协议切换到http，查看了各种官方资料、网友博文、helm的elasticsearch部署指南，因为如何不把https关掉，意味着程序来连接就要忽略证书验证，非常麻烦，所以笔者仔仔细细看了chart包的内容，发现了下面的解决办法。
k8s(1.28.2) 部署ES集群
qq_41076892的博客
12-12 807
在k8s中部署ES集群，其中使用到nfs、动态存储storageclass、helm命令等。
helm values使用示例：变量定义及使用
学亮编程手记
02-03 2464
Helm部署ES及Kibana（默认开启SSL）
李少侠
08-05 2581
helm部署ES及Kibana，默认开启ssl
helm安装elasticsearch7.12.1
11-25
以下是使用Helm安装Elasticsearch 7.12.1的步骤： 1. 添加Elasticsearch Helm chart repository： ```shell helm repo add elastic https://helm.elastic.co ``` 2. 更新本地chart repository： ```shell helm repo update ``` 3. 创建一个名为`elasticsearch`的namespace： ```shell kubectl create namespace elasticsearch ``` 4. 安装Elasticsearch chart： ```shell helm install elasticsearch elastic/elasticsearch --version 7.12.1 -n elasticsearch --namespace elasticsearch -f values.yaml ``` 其中，`values.yaml`是一个包含Elasticsearch配置的YAML文件，你可以根据自己的需求进行修改。 5. 等待Elasticsearch部署完成后，可以使用以下命令检查Elasticsearch的状态： ```shell kubectl get pods -n elasticsearch ``` 如果所有的pod都处于`Running`状态，则说明Elasticsearch已经成功部署。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值