k8s安装elasticsearch+filebeat+kibana

最新推荐文章于 2024-05-18 08:00:00 发布
最新推荐文章于 2024-05-18 08:00:00 发布
阅读量1.4k 收藏
点赞数
文章标签： elasticsearch es kubernetes
原文链接：https://zhuanlan.zhihu.com/p/113629660
版权

1，安装helm repo
helm add https://helm.elastic.co
2, 创建数据盘
创建存储类，storageClass.name=efk-nfs-client，es节点通过name自动绑定
helm install efk-nfs-storage -n nfs
–set nfs.server=172.21.2.159,nfs.path=/data/NFS/EFK
–set storageClass.name=efk-nfs-client,storageClass.reclaimPolicy=Retain
nfs-client-provisioner
3，角色分配
es-master 搭建一个 elasticsearch 至少需要 3 个 Pod 以防止集群脑裂。
es-data 数据节点至少需要 2 个 Pod 。数据节点将保留数据、接收查询和索引请求。
es-client 做为协调 elasticsearch 集群。至少需要 2 个。用于集群连接，并充当 HTTP 代理。如果不使用 es-clinet 那么 es-data 充当协调，尽量避免在较大的集群上这样做。
4，生成es证书，选择版本为7.6.1
#使用es容器生成证书
docker run --name elastic-charts-certs -i -w /app
elasticsearch:7.6.1
/bin/sh -c "
elasticsearch-certutil ca --out /app/elastic-stack-ca.p12 --pass ‘’ &&
elasticsearch-certutil cert --name security-master --dns security-master --ca /app/elastic-stack-ca.p12 --pass ‘’ --ca-pass ‘’ --out /app/elastic-certificates.p12"

从容器中将生成的证书拷贝出来

docker cp elastic-charts-certs:/app/elastic-certificates.p12 ./

证书生成成功该容器删除

docker rm -f elastic-charts-certs
#证书转换
openssl pkcs12 -nodes -passin pass:’’ -in elastic-certificates.p12 -out elastic-certificate.pem
运行完成会获得 elastic-certificate.pem 与 elastic-certificates.p12
5，将证书，es集群密码导入k8s

添加证书

kubectl create ns efk
kubectl create secret -n efk generic elastic-certificates --from-file=elastic-certificates.p12
kubectl create secret -n efk generic elastic-certificate-pem --from-file=elastic-certificate.pem

设置集群用户名密码，用户名不建议修改

kubectl create secret -n efk generic elastic-credentials --from-literal=password=admin --from-literal=username=elastic
6,部署 es-master 节点
cat > es-master.yaml << EOF

使用镜像

image: “elasticsearch”

es 集群名称

clusterName: “es-aka”

es 节点名称

nodeGroup: “master”

es 节点角色

roles:
master: “true”
ingest: “false”
data: “false”

副本数量

replicas: 3

资源限制

resources:
requests:
cpu: “300m”
memory: “1Gi”
limits:
cpu: “1000m”
memory: “2Gi”
volumeClaimTemplate:

该volume只能被单个节点以读写的方式映射

accessModes: [ “ReadWriteOnce” ]

自动绑定动态 pv

storageClassName: “efk-nfs-client”
resources:
requests:
storage: 4Gi

是否 SSH 开启改为 https

protocol: http

添加配置

esConfig:
elasticsearch.yml: |
xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: /usr/share/elasticsearch/config/certs/elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: /usr/share/elasticsearch/config/certs/elastic-certificates.p12
# 是否启用 htpps 启用 head 无法连接，开启还需要将 protocol 修改为 https
# xpack.security.http.ssl.enabled: true
# xpack.security.http.ssl.truststore.path: /usr/share/elasticsearch/config/certs/elastic-certificates.p12
# xpack.security.http.ssl.keystore.path: /usr/share/elasticsearch/config/certs/elastic-certificates.p12

环境变量

extraEnvs:

  • name: ELASTIC_PASSWORD
    valueFrom:
    secretKeyRef:
    name: elastic-credentials
    key: password
  • name: ELASTIC_USERNAME
    valueFrom:
    secretKeyRef:
    name: elastic-credentials
    key: username

证书

secretMounts:

  • name: elastic-certificates
    secretName: elastic-certificates
    path: /usr/share/elasticsearch/config/certs
    EOF

helm 部署 es-master 节点并安装指定版本 elasticsearch 7.6.1

helm install es-master -n efk --values es-master.yaml elastic/elasticsearch --version 7.6.1

7,部署 es-data 节点

cat > es-data.yaml <<EOF

使用镜像

image: “elasticsearch”

es 集群名称

clusterName: “es-aka”

es 节点名称

nodeGroup: “data”

es 节点角色

roles:
master: “false”
ingest: “true”
data: “true”

副本数量

replicas: 3

资源限制

resources:
requests:
cpu: “300m”
memory: “1Gi”
limits:
cpu: “1000m”
memory: “2Gi”

PVC

volumeClaimTemplate:

该volume只能被单个节点以读写的方式映射

accessModes: [ “ReadWriteOnce” ]

自动绑定动态 pv

storageClassName: “efk-nfs-client”
resources:
requests:
storage: 60Gi

是否 SSH 开启改为 https

protocol: http

添加配置

esConfig:
elasticsearch.yml: |
xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: /usr/share/elasticsearch/config/certs/elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: /usr/share/elasticsearch/config/certs/elastic-certificates.p12
# 是否启用 htpps 启用 head 无法连接，开启还需要将 protocol 修改为 https
# xpack.security.http.ssl.enabled: true
# xpack.security.http.ssl.truststore.path: /usr/share/elasticsearch/config/certs/elastic-certificates.p12
# xpack.security.http.ssl.keystore.path: /usr/share/elasticsearch/config/certs/elastic-certificates.p12

环境变量

extraEnvs:

  • name: ELASTIC_PASSWORD
    valueFrom:
    secretKeyRef:
    name: elastic-credentials
    key: password
  • name: ELASTIC_USERNAME
    valueFrom:
    secretKeyRef:
    name: elastic-credentials
    key: username

证书

secretMounts:

  • name: elastic-certificates
    secretName: elastic-certificates
    path: /usr/share/elasticsearch/config/certs
    EOF

helm 部署 es-data 节点并安装指定版本 elasticsearch 7.6.1

helm install es-data -n efk --values es-data.yaml elastic/elasticsearch --version 7.6.1

8，部署 es-client 节点

下面代码直接复制黏贴即可

cat > es-client.yaml <<EOF

使用镜像

image: “elasticsearch”

es 集群名称

clusterName: “es-aka”

es 节点名称

nodeGroup: “client”

es 节点角色

roles:
master: “false”
ingest: “false”
data: “false”

副本数量

replicas: 2

资源限制

resources:
requests:
cpu: “300m”
memory: “1Gi”
limits:
cpu: “1000m”
memory: “2Gi”

是否启用 PVC

persistence:
enabled: false

设置 es-clinet 默认为 NodePort

service:
type: NodePort

设置 NodePort 默认端口

nodePort: 30920

是否 SSH 开启改为 https

protocol: http

添加配置

esConfig:
elasticsearch.yml: |
xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: /usr/share/elasticsearch/config/certs/elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: /usr/share/elasticsearch/config/certs/elastic-certificates.p12
# 是否启用 htpps 启用 head 无法连接，开启还需要将 protocol 修改为 https
# xpack.security.http.ssl.enabled: true
# xpack.security.http.ssl.truststore.path: /usr/share/elasticsearch/config/certs/elastic-certificates.p12
# xpack.security.http.ssl.keystore.path: /usr/share/elasticsearch/config/certs/elastic-certificates.p12

环境变量

extraEnvs:

  • name: ELASTIC_PASSWORD
    valueFrom:
    secretKeyRef:
    name: elastic-credentials
    key: password
  • name: ELASTIC_USERNAME
    valueFrom:
    secretKeyRef:
    name: elastic-credentials
    key: username

证书

secretMounts:

  • name: elastic-certificates
    secretName: elastic-certificates
    path: /usr/share/elasticsearch/config/certs
    EOF

helm 部署 es-client 节点并安装指定版本 elasticsearch 7.6.1

helm install es-client -n efk --values es-client.yaml elastic/elasticsearch --version 7.6.1

查看 Elasticsearch状态
kubectl get pv
kubectl get pods --namespace=efk -w
kubectl get svc -n efk

9，部署filebeat
安装 Filebeat 7.6.1 版本
需要填写集群账号与密码

cat > es-filebeat.yaml <<EOF

使用镜像

image: “elastic/filebeat”

添加配置

filebeatConfig:
filebeat.yml: |
filebeat.inputs:
- type: docker
containers.ids:
- ‘*’
processors:
- add_kubernetes_metadata:
in_cluster: true
output.elasticsearch:
# elasticsearch 用户
username: ‘elastic’
# elasticsearch 密码
password: ‘akiraka’
# elasticsearch 主机
hosts: [“es-aka-client:9200”]

环境变量

extraEnvs:

  • name: ‘ELASTICSEARCH_USERNAME’
    valueFrom:
    secretKeyRef:
    name: elastic-credentials
    key: username
  • name: ‘ELASTICSEARCH_PASSWORD’
    valueFrom:
    secretKeyRef:
    name: elastic-credentials
    key: password
    EOF

helm 安装指定版本 filebeat 7.6.1

helm install filebeat -n efk --values es-filebeat.yaml elastic/filebeat --version 7.6.1

10，部署 Kibana
helm repo add elastic https://helm.elastic.co

安装 Kibana 7.6.1 版本
设置 kibana 默认简体中文
Kibana 无需填写集群账号与密码
service.type 设置为: NodePort
service.nodePort 固定端口: 32323
elasticsearchHosts 填写集群地址，格式为: http://es-aka-client:9200
cat > es-kibana.yaml << EOF

使用镜像

image: “kibana”

集群地址

elasticsearchHosts: “http://es-aka-client:9200”

添加配置

kibanaConfig:
kibana.yml: |
# 设置 kibana 简体中文
i18n.locale: “zh-CN”

否 SSH 开启改为 https 确保集群也是 https

protocol: http

服务设置

service:
type: NodePort
nodePort: 32323

环境变量

extraEnvs:

  • name: ‘ELASTICSEARCH_USERNAME’
    valueFrom:
    secretKeyRef:
    name: elastic-credentials
    key: username
  • name: ‘ELASTICSEARCH_PASSWORD’
    valueFrom:
    secretKeyRef:
    name: elastic-credentials
    key: password
    EOF

helm 安装指定版本 kibana 7.6.1

helm install kibana -n efk --values es-kibana.yaml elastic/kibana --version 7.6.1

11，访问
通过 Elasticsearch Head 访问es
其他浏览器我不清楚，Chrome 浏览器扩展商店搜索 ElasticSearch Head 然后安装该扩展
条件已知 elasticsearch-client 使用了 NodePort 端口为: 30920
使用方式: 集群随便一台机器 IP 地址，格式: http://节点IP:30920
访问 Kibana 仪表盘
Kibana 默认端口为:32323
访问方式: http://集群ip:32323
默认设置中文界面
默认用户与密码为自己设置,我设置
本集群默认用户为: elastic
本集群默认用户为: admin

weixin_42660934
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
K8s容器日志实时收集FileBeat+ES+Kibana
i4t abcdocker的博客
04-04 6177
K8s容器日志实时收集FileBeat+ES+Kibana www.i4t.com 标签（空格分隔）： ELK 文章目录K8s容器日志实时收集FileBeat+ES+Kibana@[toc]一、FileBeat1.1 FileBeat工作原理harvesterprospectorFilebeat 保持文件状态二、环境配置2.1 Tomcat镜像制作2.2 Filebeat 制作镜像2.3 Elas...
Centos7 Kubernetes(k8s) 开发服务器(单服务器)部署 elasticsearch 搜索引擎
风.foxwho(神秘狐)
06-16 1096
这几天对开发服务器中的 k8s和相关模块 进行升级，做个记录 开发服务器(单服务器)部署 elasticsearch 搜索引擎 环境，与系统 系统：centos 7.6 内核： 5.1.9-1.el7.elrepo.x86_64 Kubernetes(K8s) 1.14.3 服务器IP：192.168.0.254 服务器IP 说明 如果更改了服务器IP 为其他IP，那么请全局全部替换成你改的IP ...
K8s 搭建 FileBeat+ELK 分布式日志收集系统 以及 KQL 语法介绍
小毕超博客
05-18 992
Filebeat 是一个轻量级的日志传输工具，它负责收集日志数据并将其传输到Elasticsearch进行索引和存储。ELK是Elasticsearch、Logstash和Kibana三个开源项目的首字母缩写，它们共同构成了一个强大的日志管理和分析平台。
Filebeat7.x安装和使用
牧竹子
08-12 6548
简介 Beats 有多种类型，可以根据实际应用需要选择合适的类型。 常用的类型有： Packetbeat：网络数据包分析器，提供有关您的应用程序服务器之间交换的事务的信息。 Filebeat：从您的服务器发送日志文件。 Metricbeat：是一个服务器监视代理程序，它定期从服务器上运行的操作系统和服务收集指标。 Winlogbeat：提供Windows事件日志。 Filebeat 有两个主要...
ES集群搭建以及ES密码认证
DevonL的博客
09-06 568
下载最新版本，点击：v8.8.2 Latest，下载历史版本点击：Releases，必须使用和ES接近版本，这里使用的ES版本是7.16.0，下载IK分词器使用：7.16.1。
K8s部署轻量级日志收集系统EFK（elasticsearch + filebeat + kibana）_efk 系统日志 容器日志(1)
kOS0ym的博客
04-17 676
kind: ServiceAccount #创建个SA账号metadata:name: nfs-client-provisioner #和上面的SA账号保持一致。
filebeat+elasticSearch+kibana 学习体会
07-31
就是学习这三个的一些心得体会，适合初学者，适合给他人讲解使用！
elasticsearch+logstash+kibana+filebeat.7z (ELK 7.9.0)
04-25
总结起来，"elasticsearch+logstash+kibana+filebeat.7z (ELK 7.9.0)" 压缩包包含了一套完整的日志管理和分析工具链，适用于大数据环境，可以帮助企业实现高效的数据收集、处理、存储和可视化。通过使用这套工具，...
elasticsearch安装,elk elasticsearch+logstash+filebeat+kibana安装部署文档
最新发布
06-25
elasticsearch安装,elk elasticsearch+logstash+filebeat+kibana安装部署文档，运维监控
基于docker-compose构建filebeat + Logstash +Elasticsearch+ kibana日志系统
04-30
基于docker-compose构建filebeat + Logstash +Elasticsearch+ kibana日志系统 对nginx日志进行正则切割字段。 https://www.jianshu.com/p/f7927591d530
记一次K8s EFK(elasticsearch+fluentd+kibana)搭建排错经历
01-07
部署教程：...yaml地址：https://github.com/kubernetes/kubernetes/tree/master/cluster/addons/fluentd-elasticsearch 部署教程里面的两个注意 Elasticsearch 数据持久化：默认 EmptyDir 的方
Elasticsearch Kibana SSL认证
还是小朋友的博客
10-20 1395
openssl pkcs12 -in elastic-certificates.p12 -cacerts -nokeys -chain > client-ca.cer #签署公共证书的CA。openssl pkcs12 -in elastic-certificates.p12 -clcerts -nokeys > client.cer #公共证书。输入文件名 默认[elastic-stack-ca.p12]回车，输入密码回车。4、重启kibana。
k8s 安装filebeat使用 以及自定义filebeat.yml
随风往事
06-09 707
【代码】k8s 安装filebeat使用 以及自定义filebeat.yml。
k8s 1.18.17 安装 filebeat 7.13.3
eif88的博客
04-14 341
filebeat-7.5.2yaml 需根据需要修改 ELASTICSEARCH 环境变量 --- apiVersion: v1 kind: ConfigMap metadata: name: filebeat-config namespace: kube-system labels: k8s-app: filebeat data: filebeat.yml: |- filebeat.inputs: - type: container paths:
ELK集群搭建/K8S集群日志采集
jfcjjg的博客
11-24 3816
部署ELK-7.12.0一、所需的基础环境1、JDK环境2、磁盘配置3、修改操作系统限制二、部署ES 1、创建路径2、修改配置3、启动三、安装es-head三、安装kibana四、安装filebeat 一、所需的基础环境 部署包 提取码：anmc 1、JDK环境 对应版本对应支持的JDK环境也有所差异，但基本都支持JDK1.8 三台机器都需要执行 [root@node1 /]# mkdir /home/apps [root@node1 /]# cd /home/apps [root@node1 apps]#
基于K8S部署filebeat及logstash并输出到java程序中
文涛的专栏
11-25 1793
以守护进程的方式运行Filebeat，Filebeat将采集日志通过logstash发送的JAVA程序中，再由JAVA程序处理后，集中存储起来。每个POD中额外增加一个Filebeat容器，Filebeat通过文件共享方式，读取相应的日志并通过logstash发送到JAVA程序中。DaemonSet方式采集容器的标准输出，如果有特殊需求，再通过Sidecar方式定制采集日志即可。至此，便可获得logstash发送过来的日志信息了，容器日志均是Json格式。采集K8S集群的容器日志，并集中存储。
elasticsearch7 集群搭建带安全验证
yonggeit的博客
05-16 6180
elasticsearch7 集群搭建教程环境准备1.配置JAVA_HOME2.下载es功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导...
elasticsearch集群添加安全认证功能（添加访问密码）
web15085181368的博客
03-25 3603
一、前言 在 6.8 之前免费版本并不包含安全认证功能，之后版本有开放一些基础认证功能；为了防止各种事故，一般都会设置es集群的访问密码；但是在我尝试设置访问密码的时候发现，设置访问密码的前提必须要设置集群证书，不然es启动报错。 关于设置证书的作用，简单来说就是在集群内定各个es节点都必须持有相同的证书，如果某个es的恶意节点想加入你的集群，那么它也必须有要相同的证书，这就可以防止别人恶意创建节点加入你的集群了。 本例子使用elasticsearch v7.2.0为例 二、具体步骤 1、编辑elastic
docker安装filebeat、k8s安装filebeat、通过k8s ConfigMap配置filebeat，k8s DaemonSet安装filebeat采集日志到es
qq_32352777的博客
05-10 3252
目录 前言 日志架构 使用节点级日志代理 使用 sidecar 容器运行日志代理 具有日志代理功能的边车容器 从应用中直接暴露日志目录 解决方案 部署应用 通过DaemonSet运行filebeat 通过ConfinMap创建filebeat配置文件 编写yaml脚本运行filebeat 查看日志 参考文档 前言 本博文中涉及解决方案通过参考k8s官方手册和filebeat手册得出，整体通过k8s DaemonSet部署elastic/filebea...
源码安装ELK+filebeat+sentinl
05-19
首先需要安装Kibana插件管理工具elasticsearch-plugin，执行以下命令进行安装： ``` ./kibana-plugin install elasticsearch-plugin ``` 然后再安装Sentinl插件，执行以下命令进行安装： ``` ./kibana-plugin ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值