elasticsearch和kibana部署代码

最新推荐文章于 2023-09-22 14:03:06 发布
最新推荐文章于 2023-09-22 14:03:06 发布
阅读量277 收藏
点赞数
分类专栏： # k8s
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/goodlife111/article/details/100740642
版权

es-client-deployment.yaml

apiVersion: apps/v1beta1
kind: Deployment
metadata:
  name: es-client
  namespace: ops
  labels:
    component: elasticsearch
    role: client
spec:
  replicas: 2
  template:
    metadata:
      labels:
        component: elasticsearch
        role: client
    spec:
      affinity:
        podAntiAffinity:
          preferredDuringSchedulingIgnoredDuringExecution:
          - weight: 100
            podAffinityTerm:
              labelSelector:
                matchExpressions:
                - key: role
                  operator: In
                  values:
                  - client
              topologyKey: kubernetes.io/hostname
      initContainers:
      - name: init-sysctl
        image: docker.idc.cedu.cn/.../busybox
        command:
        - sysctl
        - -w
        - vm.max_map_count=262144
        securityContext:
          privileged: true
      containers:
      - name: es-client
        image: docker.idc.cedu.cn/.../elasticsearch:6.7.1_v3
        env:
        - name: NAMESPACE
          valueFrom:
            fieldRef:
              fieldPath: metadata.namespace
        - name: NODE_NAME
          valueFrom:
            fieldRef:
              fieldPath: metadata.name
        - name: CLUSTER_NAME
          value: "k8s_elasticsearch_cluster"
        - name: NUMBER_OF_MASTERS
          value: "2"
        - name: HTTP_CORS_ALLOW_ORIGIN
          value: "*"
        - name: HTTP_CORS_ENABLE
          value: "true"
        - name: NETWORK_HOST
          value: "0.0.0.0"
        - name: MAX_LOCAL_STORAGE_NODES
          value: "1"
        - name: NODE_INGEST
          value: "false"
        - name: NODE_MASTER
          value: "false"
        - name: NODE_DATA
          value: "false"
        - name: HTTP_ENABLE
          value: "true"
        - name: ES_JAVA_OPTS
          value: -Xms1024m -Xmx1024m
        - name: NETWORK_HOST
          value: _site_,_lo_
        ports:
        - containerPort: 9200
          name: http
        - containerPort: 9300
          name: transport
        livenessProbe:
          tcpSocket:
            port: transport
        readinessProbe:
          httpGet:
            path: /_cluster/health
            port: http
          initialDelaySeconds: 20
          timeoutSeconds: 5
        volumeMounts:
        - name: storage
          mountPath: /usr/share/elasticsearch/data 
      volumes:
          - emptyDir:
              medium: ""
            name: storage

es-data-stateful.yaml

apiVersion: apps/v1beta2
kind: StatefulSet
metadata:
  name: es-data-stateful
  namespace: ops
  labels:
    component: elasticsearch
    role: data
spec:
  serviceName: elasticsearch-data
  selector:
    matchLabels:
      component: elasticsearch
      role: data
  replicas: 3
  updateStrategy:
    type: RollingUpdate
  template:
    metadata:
      labels:
        component: elasticsearch
        role: data
    spec:
      affinity:
        podAntiAffinity:
          preferredDuringSchedulingIgnoredDuringExecution:
          - weight: 100
            podAffinityTerm:
              labelSelector:
                matchExpressions:
                - key: role
                  operator: In
                  values:
                  - data
              topologyKey: kubernetes.io/hostname
      terminationGracePeriodSeconds: 10
      initContainers:
      - name: init-sysctl
        image: docker.idc.cedu.cn/.../busybox
        command:
        - sysctl
        - -w
        - vm.max_map_count=262144
        securityContext:
          privileged: true
      containers:
      - name: es-data
        image: docker.idc.cedu.cn/.../elasticsearch:6.7.1_v3
        env:
        - name: NAMESPACE
          valueFrom:
            fieldRef:
              fieldPath: metadata.namespace
        - name: NODE_NAME
          valueFrom:
            fieldRef:
              fieldPath: metadata.name
        - name: CLUSTER_NAME
          value: "k8s_elasticsearch_cluster"
        - name: NODE_MASTER
          value: "false"
        - name: NODE_INGEST
          value: "false"
        - name: HTTP_ENABLE
          value: "false"
        - name: NODE_DATA
          value: "true"
        - name: ES_JAVA_OPTS
          value: -Xms1024m -Xmx1024m
        - name: NUMBER_OF_MASTERS
          value: "2"
        - name: HTTP_CORS_ALLOW_ORIGIN
          value: "*"
        - name: HTTP_CORS_ENABLE
          value: "false"
        - name: NETWORK_HOST
          value: "0.0.0.0"
        - name: MAX_LOCAL_STORAGE_NODES
          value: "1"
        ports:
        - containerPort: 9300
          name: transport
        livenessProbe:
          tcpSocket:
            port: transport
          initialDelaySeconds: 20
          periodSeconds: 10
        volumeMounts:
        - name: storage
          mountPath: /usr/share/elasticsearch/data
      #volumes:
      #- name: storage
      #  emptyDir: {}
  volumeClaimTemplates:
  - metadata:
      name: storage
    spec:
      storageClassName: local-storage
      accessModes: [ ReadWriteOnce ]
      resources:
        requests:
          storage: 150Gi

es-master-stateful.yaml

apiVersion: apps/v1beta1
kind: StatefulSet
metadata:
  name: es-master-stateful
  namespace: ops
  labels:
    component: elasticsearch
    role: master
spec:
  serviceName: elasticsearch-master
  selector:
    matchLabels:
      component: elasticsearch
      role: master
  replicas: 3
  template:
    metadata:
      labels:
        component: elasticsearch
        role: master
    spec:
      affinity:
        podAntiAffinity:
          preferredDuringSchedulingIgnoredDuringExecution:
          - weight: 100
            podAffinityTerm:
              labelSelector:
                matchExpressions:
                - key: role
                  operator: In
                  values:
                  - master
              topologyKey: kubernetes.io/hostname
      initContainers:
      - name: init-sysctl
        image: docker.idc.cedu.cn/.../busybox
        command:
        - sysctl
        - -w
        - vm.max_map_count=262144
        securityContext:
          privileged: true
      containers:
      - name: es-master
        image: docker.idc.cedu.cn/.../elasticsearch:6.7.1_v3
        env:
        - name: NAMESPACE
          valueFrom:
            fieldRef:
              fieldPath: metadata.namespace
        - name: NODE_NAME
          valueFrom:
            fieldRef:
              fieldPath: metadata.name
        - name: CLUSTER_NAME
          value: "k8s_elasticsearch_cluster"
        - name: NUMBER_OF_MASTERS
          value: "2"
        - name: HTTP_CORS_ALLOW_ORIGIN
          value: "*"
        - name: HTTP_CORS_ENABLE
          value: "false"
        - name: NETWORK_HOST
          value: "0.0.0.0"
        - name: MAX_LOCAL_STORAGE_NODES
          value: "1"
        - name: NODE_MASTER
          value: "true"
        - name: NODE_INGEST
          value: "false"
        - name: NODE_DATA
          value: "false"
        - name: HTTP_ENABLE
          value: "false"
        - name: ES_JAVA_OPTS
          value: -Xms1024m -Xmx1024m
        ports:
        - containerPort: 9300
          name: transport
        livenessProbe:
          tcpSocket:
            port: transport
        volumeMounts:
        - name: storage
          mountPath: /usr/share/elasticsearch/data
      volumes:
      - name: storage
        emptyDir: {}
  #volumeClaimTemplates:
  #- metadata:
  #    name: storage
  #  spec:
  #    storageClassName: local-storage
  #    accessModes: [ ReadWriteOnce ]
  #    resources:
  #      requests:
  #       storage: 10Gi

es-svc.yaml

apiVersion: v1
kind: Service
metadata:
  name: elasticsearch-discovery
  namespace: ops
  labels:
    component: elasticsearch
    role: master
spec:
  selector:
    component: elasticsearch
    role: master
  ports:
  - name: transport
    port: 9300
    protocol: TCP
---
apiVersion: v1
kind: Service
metadata:
  name: elasticsearch-client
  namespace: ops
  labels:
    component: elasticsearch
    role: client
spec:
  selector:
    component: elasticsearch
    role: client
  ports:
  - name: http
    port: 9200
#type: LoadBalancer
---
apiVersion: v1
kind: Service
metadata:
  name: elasticsearch-master
  namespace: ops
  labels:
    component: elasticsearch
    role: master
spec:
  ports:
  - port: 9300
    name: transport
  clusterIP: None
  selector:
    component: elasticsearch
    role: master
---
apiVersion: v1
kind: Service
metadata:
  name: elasticsearch-data
  namespace: ops
  labels:
    component: elasticsearch
    role: data
spec:
  ports:
  - port: 9300
    name: transport
  clusterIP: None
  selector:
    component: elasticsearch
    role: data

kibana_deployment.yaml

apiVersion: v1
kind: Service
metadata:
  name: kibana
  namespace: ops
  labels:
    app: kibana
spec:
  ports:
  - port: 5601
  selector:
    app: kibana

---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: kibana
  namespace: ops
  labels:
    app: kibana
spec:
  selector:
    matchLabels:
      app: kibana
  template:
    metadata:
      labels:
        app: kibana
    spec:
      containers:
      - name: kibana
        image: docker.idc.cedu.cn/.../kibana:6.7.1_v1
        resources:
          limits:
            cpu: 1000m
          requests:
            cpu: 100m
        env:
          - name: elasticsearch.url
            value: http://elasticsearch-client.ops.svc.idc.cedu.cn:9200
        ports:
        - containerPort: 5601
        readinessProbe:
          tcpSocket:
            port: 5601
          timeoutSeconds: 10
          initialDelaySeconds: 5
        livenessProbe:
          tcpSocket:
            port: 5601
          timeoutSeconds: 10
          initialDelaySeconds: 5
        volumeMounts:
        - name: kibana
          mountPath: "/usr/share/kibana/config" 
      volumes:
      - name: kibana
        configMap:
          name: kibana-config

elasticsearch.yaml

# 生成configmap，进行配置热加载
cluster:
  name: ${CLUSTER_NAME}

node:
  master: ${NODE_MASTER}
  data: ${NODE_DATA}
  name: ${NODE_NAME}
  ingest: ${NODE_INGEST}
  max_local_storage_nodes: ${MAX_LOCAL_STORAGE_NODES}

network.host: ${NETWORK_HOST}

path:
  data: /usr/share/elasticsearch/data
  logs: /usr/share/elasticsearch/logs

bootstrap:
  memory_lock: ${MEMORY_LOCK}

http:
  enabled: ${HTTP_ENABLE}
  compression: true
  cors:
    enabled: ${HTTP_CORS_ENABLE}
    allow-origin: ${HTTP_CORS_ALLOW_ORIGIN}

discovery:
  zen:
    ping.unicast.hosts: ${DISCOVERY_SERVICE}
    minimum_master_nodes: ${NUMBER_OF_MASTERS}

kibana.yaml

# 生成configmap，进行配置热加载
server.name: "kibana"
server.host: "0"
elasticsearch.hosts: [ "http://elasticsearch-client.ops.svc.idc.cedu.cn:9200" ]
xpack.monitoring.ui.container.elasticsearch.enabled: true
孔小发
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
部署es+kibana
liulang68的博客
08-29 183
ES与 Kibana安装部署
weixin_42796403的博客
02-22 890
ES与 Kibana安装部署 一、ElasticSearch安装部署 1.1 安装包下载 1）ElasticSearch官网： https://www.elastic.co/cn/downloads/elasticsearch 1.2 ElasticSearch安装 1.2.1 解压安装ElasticSearch 1）解压elasticsearch-6.6.0.tar.gz到/opt/module目录下 [hadoop@hadoop102 software]$ tar -zxvf elasticsearc
docker部署es和kibana的环境搭建
感谢关注点赞，笔芯啾咪！
01-20 1110
1.安装elasticsearch&kibana 这里以7.7.1为准，需要注意的是，这两个下载必须指定版本号，不能使用latest,并且两个版本必须一致。 docker pull elasticsearch:7.7.1 docker pull kibana:7.7.1 2.运行elasticsearch&kibana 启动es，其中 -e "discovery.type=single-node" 这个配置建议加上，否则会出现启动es的时候会报Native controller .
Elasticsearch学习（二）使用Kibana实现对es的增删改查
一天不写代码难受的博客
02-14 2391
目录使用Kibana支持的命令1 GET _cat/health?v2 创建索引2.1创建索引时指定分片3 修改索引4 删除索引5 查看索引信息5 往索引里面存数据（新增Document）5.1PUT语法 使用Kibana 支持的命令 1 GET _cat/health?v 这个命令的意思是看这个软件的运行状态，也就是看这个软件的健康状态 Epoch（编号） timestamp（时间戳） cluster（集群名称） status（健康状态） node.total（节点总
ELK生态圈（es、logstash、kibana）的介绍和安装部署
PAyy_413的博客
09-22 962
​ELK生态圈的三大组件介绍和安装部署！
Elasticsearch集群模式部署
06-30
学习总结资料
Kubernetes持久化部署elasticsearch7.15.0分布式集群
02-21
原文链接：https://blog.csdn.net/m0_37814112/article/details/122965720 说明：包含elasticsearch7.15.0集群3节点、5节点、7节点等三种方式的K8S部署yaml文件、镜像文件，里面有详细的README.txt部署参考
es docker 部署 elasticsearch.yml
03-19
docker run --name elasticsearch7.16.3 -p 127.0.0.1:9200:9200 -p 127.0.0.1:9300:9300 -e "discovery.type=single-node" -v /Users/xingyue/Home/xingyue/学习/工程化/es/elasticsearch.yml:/usr/share/elastic...
elasticsearch超详细安装部署手册
11-03
包含linux和windows安装部署细节
安装部署 elasticsearch kibana 资源
11-05
安装部署 elasticsearch kibana 资源 如果有不会的伙伴 可以参考安装部署专栏《安装部署 elasticsearch kibana IK分词器》文章 其中会有较为详细的部署步奏 如果有不足之处,朢大神评论区指点 感谢您的支持, ღ( ´･...
记一次K8s EFK(elasticsearch+fluentd+kibana)搭建排错经历
xjaixj9293的博客
02-20 874
部署教程：https://qhh.me/2019/09/05/Kubernetes-%E5%9F%BA%E4%BA%8E-EFK-%E6%8A%80%E6%9C%AF%E6%A0%88%E7%9A%84%E6%97%A5%E5%BF%97%E6%94%B6%E9%9B%86%E5%AE%9E%E8%B7%B5/ yaml地址：https://github.com/kubernetes/kuber...
zookeeper和kafka集群部署代码
孔小发
09-11 245
# kafka.yaml apiVersion: v1 kind: Service metadata: name: kafka-svc namespace: ops labels: app: kafka-svc spec: ports: - port: 9092 name: server clusterIP: None selector: app...
搭建elasticsearch7.11.2的源码环境
talen_hx的博客
08-10 367
一、首先下载elasticsearch源码，从github上下载，本次下载版本为7.11.2，地址为https://github.com/elastic/elasticsearch.git 二、下载软件elasticsearch软件，本次版本为7.11.2，配置gradle，版本最好是6.1以上，本次版本为6.8.3，然后配置gradle环境变量GRADLE_HOME（gradle的软件目录），GRADLE_USER_HOME（gradle项目依赖的lib包下载目录） 三、elasticsearch
ElasticSearch简介及ElasticSearch部署、原理和使用介绍
wt334502157的博客
08-08 6536
ElasticSearch简介及ElasticSearch部署、原理和使用介绍 第一章：elasticsearch简介 ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。 第一节 elasticSearch的使用场景 1、 为用户提供按关键字查询的全文搜索功能。 2、 实现企业海量数据的处理分析的解决方案
es系列：kibana 部署（单机）
zhuchunyan_aijia的博客
02-07 475
下载 https://www.elastic.co/cn/downloads/kibana 解压kibana tar -zxvf elasticsearch-7.17.0-linux-x86_64.tar.gz 修改配置文件 kibana.yml # vi /kibana/config/kibana.yml 修改配置 server.port: 5601 #这个不一定需要配置 server.host: "192.168.124.41"#配置本机IP elasticsearch.hosts:
elasticsearch源码安装
雪儿的博客
08-05 1460
注意：不能在root用户下安装，否则会报错，必须新建用户 1.创建用户tongdun groupadd tongdun useradd -g tongdun tongdun -m passwd tongdun 2.给tongdun用户赋权限 chmod +w /etc/sudoers vi /etc/sudoers 在文件最后添加如下内容： tongdun ALL=(ALL) ALL chmod...
elasticsearch 6.5 单机部署
lumengmeng_csdn的专栏
04-08 1481
一、为了快速了解elasticsearch，先搭建一个简单的单机版的elasticsearch，前期准备： 1、CentOS 7.6 64位（ 2、jdk1.8 3、直接从官网上面下载elasticsearch6.5源码（下载地址：https://www.elastic.co/downloads/past-releases/elasticsearch-6-5-1） 二、部署 1、jd...
初识ES-安装es
Leon_Jinhai_Sun的博客
11-13 1546
部署单点es 创建网络 因为我们还需要部署kibana容器，因此需要让es和kibana容器互联。这里先创建一个网络： docker network create es-net 加载镜像 这里我们采用elasticsearch的7.12.1版本的镜像，这个镜像体积非常大，接近1G。不建议大家自己pull。 大家将其上传到虚拟机中，然后运行命令加载即可： # 导入数据 docker load -i es.tar 同理还有kibana的tar包也需要这样做。 运行 运行docker命令，
Elasticsearch的部署和应用
最新发布
06-14
Elasticsearch是一个流行的开源分布式搜索和分析引擎，用于实时处理、存储和检索大量数据。它的核心功能是提供快速、可扩展的全文搜索能力。以下是Elasticsearch部署和应用的一些基本步骤和应用场景： 1. **部署**: - **安装**: Elasticsearch支持多种操作系统（如Linux、macOS、Windows），可以从官方网站下载并按照说明进行安装。 - **配置**: 配置文件`elasticsearch.yml`是关键，需要设置集群名称、节点数量、网络地址等信息。 - **集群设置**: 可以选择单节点模式或多节点模式，使用`elasticsearch-plugin install`安装插件如kopf（用于Kubernetes集成）。 - **安全设置**: 考虑SSL/TLS以保护通信，设置访问控制（如Kerberos或HTTP认证）。 2. **应用**: - **数据索引**: 将结构化或半结构化的数据导入到Elasticsearch中，创建索引并定义映射（mappings）。 - **查询与分析**: 使用RESTful API或者像Elasticsearch Query DSL这样的语言进行复杂搜索、聚合和分析。 - **日志管理**: Elasticsearch常用于收集和分析日志数据，提供实时监控和警报功能。 - **实时应用搜索**: 适用于电商、社交网络、内容管理系统等场景，提供实时搜索建议和搜索结果排序。 - **文档归档**: 存储大量历史数据，方便检索和数据分析。 3. **工具与集成**: - Kibana: 作为Elasticsearch的可视化平台，用于探索和分析数据。 - Logstash: 数据管道组件，常用于数据接入和预处理。 - Beats: 如Filebeat、Winlogbeat，用于收集系统日志和其他数据源。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值