k8s容器部署elasticsearch+kibana+cerebro

最新推荐文章于 2024-05-16 07:30:00 发布
最新推荐文章于 2024-05-16 07:30:00 发布
阅读量778 收藏 2
点赞数
分类专栏： k8s elasticsearch 文章标签： elasticsearch kubernetes
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42507440/article/details/125542094
版权

k8s容器部署elasticsearch+kibana+cerebro

文章目录

1、operator安装

1.1 版本和yaml文件确认

# 官网
https://www.elastic.co/guide/en/cloud-on-k8s/1.9/k8s-deploy-eck.html

在这里插入图片描述

#查看k8s版本
kubectl version

在这里插入图片描述

wget https://download.elastic.co/downloads/eck/1.9.1/crds.yaml
wget https://download.elastic.co/downloads/eck/1.9.1/operator.yaml
#yaml文件太长我就不贴出来了，可以自己从官网下载

#修改yaml文件
operator.yaml中的命名空间修改为自己的命名空间，我的namespace是es

1.2 创建资源和operator

[root@Paas-cce-test-primary-master01 es]# pwd
/root/zhanghsn/es
[root@Paas-cce-test-primary-master01 es]# kubectl apply -f ./crds.yaml 
[root@Paas-cce-test-primary-master01 es]# kubectl apply -f ./operator.yaml

在这里插入图片描述

说明：我这个图是最后都创建完的截图，所有你也可以看到其他的软件pod

2、elasticsearch安装

2.1 yaml文件准备

部署elasticsearch使用的nfs存储，我这里使用k8s集群提前就有nfs存储，所以直接使用，如果没有或者其他的存储也一样，大家可以搜素下nfs存储创建

elasticsearch的yaml文件，这里是3个master和3个node自己可以定，我使用的是只有3个master和，进下面yaml文件

apiVersion: elasticsearch.k8s.elastic.co/v1
kind: Elasticsearch
metadata:
  name: es-cluster
  namespace: es
spec:
  version: 7.10.1
  nodeSets:
  - name: master-nodes
    count: 3
    config:
      node.master: true
      node.data: false
    podTemplate:
      spec:
        initContainers:
        - name: sysctl
          securityContext:
            privileged: true
            runAsUser: 0
          command: ['sh', '-c', 'sysctl -w vm.max_map_count=262144']
        containers:
        - name: elasticsearch
          image: paas-cce.dev.dcesg.cn/zhsn/elasticsearch:7.10.1
          env:
          - name: ES_JAVA_OPTS
            value: "-Xms6g -Xmx6g"
          resources:
            limits:
              memory: 10Gi
              cpu: 4
            requests:
              memory: 10Gi
              cpu: 4
        imagePullSecrets:
        - name: default-secret
    volumeClaimTemplates:
    - metadata:
        name: elasticsearch-data
      spec:
        accessModes:
        - ReadWriteOnce
        resources:
          requests:
            storage: 2Gi
        storageClassName: copaddon-nfs-public
  - name: data-nodes
    count: 0
    config:
      node.master: false
      node.data: true
    podTemplate:
      spec:
        initContainers:
        - name: sysctl
          securityContext:
            privileged: true
            runAsUser: 0
          command: ['sh', '-c', 'sysctl -w vm.max_map_count=262144']
        containers:
        - name: elasticsearch
          image: paas-cce.dev.dcesg.cn/zhsn/elasticsearch:7.10.1
          env:
          - name: ES_JAVA_OPTS
            value: "-Xms8g -Xmx8g"
          resources:
            limits:
              memory: 10Gi
              cpu: 4
            requests:
              memory: 10Gi
              cpu: 4
        imagePullSecrets:
        - name: default-secret
    volumeClaimTemplates:
    - metadata:
        name: elasticsearch-data
      spec:
        accessModes:
        - ReadWriteOnce
        resources:
          requests:
            storage: 2Gi
        storageClassName: copaddon-nfs-public
  http:
    tls:
      selfSignedCertificate:
        disabled: true

本次使用的yaml文件

apiVersion: elasticsearch.k8s.elastic.co/v1
kind: Elasticsearch
metadata:
  name: es-cluster
  namespace: es
spec:
  version: 7.10.1
  nodeSets:
  - name: master
    count: 3
    podTemplate:
      spec:
        initContainers:
        - name: sysctl
          securityContext:
            privileged: true
            runAsUser: 0
          command: ['sh', '-c', 'sysctl -w vm.max_map_count=262144']
        containers:
        - name: elasticsearch
          image: paas-cce.dev.dcesg.cn/zhsn/elasticsearch:7.10.1
          env:
          - name: ES_JAVA_OPTS
            value: "-Xms6g -Xmx6g"
          resources:
            limits:
              memory: 10Gi
              cpu: 4
            requests:
              memory: 10Gi
              cpu: 4
        imagePullSecrets:
        - name: default-secret
    volumeClaimTemplates:
    - metadata:
        name: elasticsearch-data
      spec:
        accessModes:
        - ReadWriteOnce
        resources:
          requests:
            storage: 2Gi
        storageClassName: copaddon-nfs-public
  http:
    tls:
      selfSignedCertificate:
        disabled: true

2.2 开始部署

[root@Paas-cce-test-primary-master01 es]# kubectl apply -f ./es-test.yaml

在这里插入图片描述

2.3 创建ingress

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  annotations:
    kubernetes.io/ingress.class: nginx
    nginx.ingress.kubernetes.io/backend-protocol: ' HTTP'
  name: ingress-es
  namespace: es
spec:
  rules:
  - host: es-test.zhsn.com
    http:
      paths:
      - backend:
          serviceName: es-cluster-es-http
          servicePort: 9200
        path: /

[root@Paas-cce-test-primary-master01 es]# kubectl apply -f ./es-ingress.yaml 
[root@Paas-cce-test-primary-master01 es]# kubectl get ing -n es

在这里插入图片描述

2.4 查看的用户和密码

[root@Paas-cce-test-primary-master01 es]# kubectl get secret -n es
[root@Paas-cce-test-primary-master01 es]# kubectl get secret -n es es-cluster-es-elastic-user  -o yaml
[root@Paas-cce-test-primary-master01 es]# echo "UEBzc3cwcmQ=" | base64 -d
P@ssw0rd

#换密码方式
[root@Paas-cce-test-primary-master01 es]# echo -n "elastic@admin" | base64
ZWxhc3RpY0BhZG1pbg==
[root@Paas-cce-test-primary-master01 es]# kubectl edit secret -n es es-cluster-es-elastic-user
apiVersion: v1
data:
  elastic: UEBzc3cwcmQ=           #---------->  将加密的密码替换就行
kind: Secret
metadata:
  creationTimestamp: "2022-06-30T02:42:48Z"
  labels:
    common.k8s.elastic.co/type: elasticsearch
    eck.k8s.elastic.co/credentials: "true"
    eck.k8s.elastic.co/owner-kind: Elasticsearch
    eck.k8s.elastic.co/owner-name: es-cluster
    eck.k8s.elastic.co/owner-namespace: es
    elasticsearch.k8s.elastic.co/cluster-name: es-cluster
  name: es-cluster-es-elastic-user
  namespace: es
  resourceVersion: "123533843"
  selfLink: /api/v1/namespaces/es/secrets/es-cluster-es-elastic-user
  uid: a0525dc6-d40c-48d8-a666-d6f7374d1742
type: Opaque

#可以重启下es的pod让马上生效

在这里插入图片描述
在这里插入图片描述

2.5 登录验证

[root@Paas-cce-test-primary-master01 es]# kubectl -n es get elasticsearch

在浏览器登录,需要你在电脑的hosts进行域名解析配置
http://es-test.zhsn.com

登录用户和密码见secret
elastic/P@ssw0rd

在这里插入图片描述
在这里插入图片描述

3、kibana安装

3.1 yaml文件准备

apiVersion: kibana.k8s.elastic.co/v1
kind: Kibana
metadata:
  name: kibana
  namespace: es
spec:
  version: 7.10.1
  http:
    tls:
      selfSignedCertificate:
        disabled: true
  count: 1
  elasticsearchRef:
    name: es-cluster   # kubectl -n es get elasticsearch 获取
  podTemplate:
    spec:
      containers:
      - name: kibana
        resources:
          limits:
            cpu: 1000m
          requests:
            cpu: 100m

[root@Paas-cce-test-primary-master01 es]# kubectl apply -f ./kibana.yaml

在这里插入图片描述

3.2 创建ingress

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  annotations:
    kubernetes.io/ingress.class: nginx
    nginx.ingress.kubernetes.io/backend-protocol: ' HTTP'
  name: ingress-kibana
  namespace: es
spec:
  rules:
  - host: kibana.zhsn.om
    http:
      paths:
      - backend:
          serviceName: kibana-kb-http
          servicePort: 5601
        path: /

在这里插入图片描述

3.3 登录查看

密码为es的账号密码
elastic/P@ssw0rd

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4、cerebro安装

4.1 yaml文件准备

apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    app: cerebro
  name: cerebro
  namespace: es
spec:
  replicas: 1
  selector:
    matchLabels:
      app: cerebro
  template:
    metadata:
      labels:
        app: cerebro
      name: cerebro
    spec:
      containers:
      - image: paas-cce.dev.dcesg.cn/zhsn/cerebro:0.8.3
        imagePullPolicy: IfNotPresent
        name: cerebro
        resources:
          limits:
            cpu: 1
            memory: 1Gi
          requests:
            cpu: 1
            memory: 1Gi
        volumeMounts:
          - name: cerebro-conf
            mountPath: /etc/cerebro
      volumes:
      - name: cerebro-conf
        configMap:
          name: cerebro-application
      imagePullSecrets:
      - name: default-secret


---
apiVersion: v1
kind: Service
metadata:
  labels:
    app: cerebro
  name: cerebro
  namespace: es
spec:
  ports:
  - port: 9000
    protocol: TCP
    targetPort: 9000
  selector:
    app: cerebro
  type: ClusterIP
---
apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  annotations:
    kubernetes.io/ingress.class: nginx
    nginx.ingress.kubernetes.io/backend-protocol: ' HTTP'
  name: cerebro-ingress
  namespace: es
spec:
  rules:
  - host: cerebro.zhsn.com
    http:
      paths:
      - backend:
         serviceName: cerebro
         servicePort: 9000
        path: /

4.2 部署cerebro

[root@Paas-cce-test-primary-master01 es]# kubectl apply -f ./cerebro.yam

在这里插入图片描述

4.3 登录查看

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

奋进的小马
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
kubernetes部署Elasticsearch cluster & Kibana & Cerebro
weixin_43273856的博客
09-26 619
kubernetes部署Elasticsearch cluster & Kibana & Cerebro
记一次K8s EFK(elasticsearch+fluentd+kibana)搭建排错经历
01-07
部署教程：https://qhh.me/2019/09/05/Kubernetes-基于-EFK-技术栈的日志收集实践/ yaml地址：...Elasticsearch 数据持久化：默认 EmptyDir 的方
k8s部署Elasticsearch集群+Kibana方案--开启X-Pack 安全认证
YZEQIANG的博客
06-04 4594
本文中使用方式部署 Elasticsearch 集群，并且开启X-Pack 安全认证，存储使用的是NFS，属于一个初学者自己探索的方案，如果有比较好的方案，还请不吝评论赐教。需要安装好Kubernetes 集群，并且配置了存储类(
在k8s上部署cerebro访问集群外部署的es
临江仙我亦是行人
07-22 830
在 k8s 集群中安装一个 corebro，用于查看集群外的 Elasticsearch 服务
在k8s中搭建elasticsearch高可用集群，并对数据进行持久化存储
博客虽小，世界尽在其中
05-16 1653
本文详细阐述了如何在Kubernetes（k8s）环境中搭建一个高可用的Elasticsearch集群，并重点介绍了数据持久化的配置与实现。随着大数据和云计算技术的飞速发展，Elasticsearch作为一款强大的搜索引擎和分析工具，其高可用性和数据持久性成为企业应用的关键需求。 首先，文章介绍了Elasticsearch集群的基本概念，包括节点类型、分片、复制因子等核心概念，以及这些概念在实现高可用性方面的作用。随后，文章详细说明了在Kubernetes中部署Elasticsearch集群的步骤，包括创
k8s Operator 部署 elasticsearch 7.10 + kibana + cerebro
临江仙我亦是行人
06-10 1278
基于 Kubernetes Operator 模式部署 elasticsearch kifana cerebro
filebeat+elasticSearch+kibana 学习体会
07-31
就是学习这三个的一些心得体会，适合初学者，适合给他人讲解使用！
Logash+Elasticsearch+Kibana+日志系统全套安装部署.rar
最新发布
06-30
Logash+Elasticsearch+Kibana+日志系统全套安装部署.rar Logash+Elasticsearch+Kibana+日志系统全套安装部署.rar Logash+Elasticsearch+Kibana+日志系统全套安装部署.rar Logash+Elasticsearch+Kibana+日志系统全套...
skywalking+es7+nacos+ik+kibana
07-11
5. **Kibana**：Kibana 是 Elasticsearch 的官方可视化工具，可以用于数据探索、仪表板创建和分享。用户可以通过 Kibana 对 Elasticsearch 存储的数据进行可视化展示，便于理解和分析。 在提供的压缩文件列表中，...
linux脚本部署elasticsearch+kibana集群
04-23
使用脚本在docker环境一键快速部署elasticsearch+kibana，方便测试和开发
k8s部署生产级elasticsearch+kibana 步骤、踩坑及解决方案
小恺的工作生活拾遗
01-13 8264
k8s,elasticsearch部署,kibana部署
k8s部署 elk（Elasticsearch,Kibana,Logstash,Redis,Filebea）
疯飙的蜗牛
06-16 3254
k8s 配置 elk
k8s部署elasticsearch集群
qq_38461703的博客
06-30 329
将宕机的master下线 找一个salve作为master 通知所有的slave连接新的master 启动新的Master与slave 全量复制N+部分复制N 谁来确认master宕机了 找一个？怎么找法 修改配置后，原始的主恢复了怎么办？ 哨兵简介 哨兵(sentinel)是一个分布式系统，用于对主从结构中的每台服务器进行监控，当出现故障时通过投票机制选择新的master并将所有slave连接到新的master 哨兵的作用 监控 不断的检查master和slave是否正常运行 master存活检
使用Prometheus对k8s集群外的Elasticsearch进行监控
qq_37256882的博客
01-13 1486
本文介绍了使用Prometheus对k8s集群外的elasticsearch进行监控，这里Prometheus是使用operator部署于k8s集群中，相较于进程部署或docker部署的Prometheus，部署过程更为复杂，不能通过直接修改配置文件的方式增加job，而需要采用k8s的方式进行配置。配置步骤为：1，增加endpoint和service，使k8s集群连接至集群外的服务（这里使集群外的elasticsearch服务）
Kubernetes使用ECK部署Elasticsearch8.0和Kibana集群（k8s）
爱音乐的程序猿的博客
02-25 3724
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、安装ECK二、部署Elasticsearch8.0集群三.部署kibana集群三.访问测试部署完毕，使用ECK部署确实方便 前言 k8s使用ECK部署Elasticsearch和Kibana集群 一、安装ECK kubectl create -f https://download.elastic.co/downloads/eck/2.0.0/crds.yaml kubectl apply -f https://downlo
k8s-9.部署elk日志收集
mingqing的博客
07-31 1549
https1、helm是k8s包管理工具，可以方便的把之前打包好的yaml文件部署到k8s上。2、helm三个重要概念(1)heml是命令行客户端工具，用于chart创建、打包、发布、部署管理(2)Chart把yaml文件进行打包，yaml的集合(3)Release基于chart部署的实体，应用级别的版本管理三、helm在2019年发布V3版本，有变化(1)Tiller被移除(2)Release支持在不同命名空间进行重用(3)Chart可以推送到Docker镜像仓库中。...
k8s集群部署elasticsearch集群和elasticsearch集群设置用户密码
jiang0615csdn的博客
04-09 1473
k8s集群部署elasticsearch集群和elasticsearch集群设置用户密码
k8s部署elasticsearch及kibana
李少侠
03-07 4057
文章目录Elasticsearch生成密码相关secretvalue.yaml部署esKibanavalue.yaml:部署kibana部署结果 elastic官方提供了efk相关charts以供我们使用k8s部署efk。 elastic charts：https://github.com/elastic/helm-charts.git 目录结构如下： $ cd helm-charts && tree -L 1 . ├── apm-server ├── elasticsearch ├── f
elasticsearch+kibana安装部署
09-09
要安装和部署Elasticsearch和Kibana，你可以按照以下步骤进行操作： 1. 首先，你需要从Elasticsearch官网下载Elasticsearch的安装包。你可以使用以下命令来下载最新版本的Elasticsearch安装包： ``` wget ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值