elasticsearch7.x在k8s中的部署

最新推荐文章于 2024-06-13 07:30:00 发布
最新推荐文章于 2024-06-13 07:30:00 发布
阅读量2.2k 收藏 1
点赞数
分类专栏： java 文章标签： java 后端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/segegefe/article/details/123893352
版权

目录

一、说明

二、思路

三、部署

1、建nfs服务器

2、建持久卷

3、部署elasticsearch

四、附件

?pv.yaml内容

elasticsearch.yaml内容

一、说明

本文章内容主要的参考来源是https://www.cnblogs.com/javashop-docs/p/12410845.html，但参考文献中的elasticsearch是用的6.x版本，7.x与6.x有些配置上的差异，因此有必要在此基础上记录一下。

二、思路

  • 数据的存储

在k8s中的持久化部署不可避免的要用到持久卷，我们采用nfs方式的持久卷来存储es数据。持久卷的详细介绍请见这里：
https://kubernetes.io/docs/concepts/storage/persistent-volumes/

  • 节点规划

默认启动5个节点，3主2数据。根据es官方推荐每个节点的智能要分离，因此maseter节点不存储数据，只用来协调。

  • 3、多节点的权限问题

es的数据目录默认只允许一个节点访问，但在k8s上采用了持久卷，所有节点的数据都存储在这个卷上，这会导致es的访问权限问题。报错如下：

java.io.IOException: failed to obtain lock on /usr/share/elasticsearch/data/nodes/0

当然可以通过更改es的配置max_local_storage_nodes来允许多个节点访问同一个数据目录，但es官方不推荐这样做。

所以我们的方案是更改每个节点的数据存储目录来解决 _ps:指定es配置项path.data来实现。_举例说明：

节点名

存储目录

es-data-1

/usr/share/elasticsearch/data/es-data-1

es-data-2

/usr/share/elasticsearch/data/es-data-2

三、部署

1、建nfs服务器

对于持久卷的结构规划如下：

目录

内容

/nfs/data/esmaster

es master节点的数据

/nfs/data/esdata

es 数据节点的数据

关于索引的磁盘占用：请根据业务的数据量情况来规划持久卷硬件的情况，根据我们实际测算1000个商品大约需要1MB/每节点
在默认的规划中，我们使用k8s的master节点作为nfs服务器，为上述卷准备了10G的空间，请确保k8s master node 不少于10G的空闲磁盘。请根据您的具体业务情况选择nfs服务器，如果条件允许最好是独立的nfs服务器。根据如上规划建立nfs服务：

#master节点安装nfs
yum -y install nfs-utils
#创建nfs目录
mkdir -p /nfs/data/{mqdata,esmaster,esdata}
#修改权限
chmod -R 777 /nfs/data/

#编辑export文件
vim /etc/exports

粘贴如下内容：
/nfs/data/esmaster *(rw,no_root_squash,sync)
/nfs/data/esdata *(rw,no_root_squash,sync)

#配置生效
exportfs -r
#查看生效
exportfs

#启动rpcbind、nfs服务
systemctl restart rpcbind && systemctl enable rpcbind
systemctl restart nfs && systemctl enable nfs

#查看 RPC 服务的注册状况
rpcinfo -p localhost

#showmount测试，这里的ip输入master节点的局域网ip
showmount -e

如果以看到可被挂载的目录：
# showmount -e 172.17.14.73

Export list for 172.17.14.73:
/nfs/data/esmaster *
/nfs/data/mqdata *
接下来，要在每一个节点上安装nfs服务以便使k8s可以挂载nfs目录
#所有node节点安装客户端
yum -y install nfs-utils
systemctl start nfs && systemctl enable nfs

这样就为k8s的持久卷做好了准备。

2、建持久卷

复制附件中的pv.yaml内容，修改其中的server配置为nfs服务器的ip地址

nfs:
server: 192.168.0.186 #这里请写nfs服务器的ip

在k8s master节点上执行下面的命令创建namespace：
kubectl create namespace ns-elasticsearch
通过下面的命令建立持久卷：
kubectl create -f pv.yaml
通过以下命令查看持久卷是否建立成功：
kubectl get pv

3、部署elasticsearch

由于在elasticsearch.yaml中设置了node信息：nodeSelector🇪🇸 enable，因此需要将node添加标签es:enable
kubectl label nodes es=enable
kubectl label nodes es=enable
kubectl label nodes es=enable
查看node标签
k get node --show-labels
复制附件elasticsearch.yaml的内，并执行下面的命令创建es集群
kubectl create -f elasticsearch.yaml
通过以上部署我们建立了一个ns-elasticsearch的namespace，并在其中创建了相应的pvc、角色账号，有状态副本集以及服务。
kubectl get pods --namespace ns-elasticsearch -o wide

NAME                     READY   STATUS    RESTARTS   AGE   IP            NODE    NOMINATED NODE   READINESS GATES
elasticsearch-data-0     1/1     Running   0          46h   10.244.2.45   vm188   <none>           <none>
elasticsearch-data-1     1/1     Running   2          45h   10.244.1.62   vm187   <none>           <none>
elasticsearch-master-0   1/1     Running   0          46h   10.244.2.44   vm188   <none>           <none>
elasticsearch-master-1   1/1     Running   0          46h   10.244.1.61   vm187   <none>           <none>
elasticsearch-master-2   1/1     Running   0          46h   10.244.0.14   vm186   <none>           <none>

服务
我们默认开启了对外nodeport端口，对应关系：

32000->9200

32100->9300

k8s内部可以通过下面的服务名称访问：

elasticsearch-api-service.ns-elasticsearch:9300

elasticsearch-service.ns-elasticsearch:9200

等待容器都启动成功后验证。

注意：

es的最大内存和最小内存需要保持一致，默认的256m太小，可适当增加，我配置的是1024m。

es7.x参考：

https://blog.csdn.net/chengyuqiang/article/details/89841544

https://www.sohu.com/a/301517999_683048

四、附件

pv.yaml内容

---
#es master节点的持久卷
apiVersion: v1
kind: PersistentVolume
metadata:
? name: pv-es-master
? labels:
? ? pv: pv-es-master ??
spec:
? capacity:
? ? storage: 1Gi
? accessModes:
? ? - ReadWriteOnce
? persistentVolumeReclaimPolicy: Recycle
? storageClassName: nfs
? nfs:
? ? server: 192.168.0.186 ?#这里请写nfs服务器的ip?
? ? path: /nfs/data/esmaster ? ?
---
#es数据节点的持久卷
apiVersion: v1
kind: PersistentVolume
metadata:
? name: pv-es-data
? labels:
? ? pv: pv-es-data ? ?
spec:
? capacity:
? ? storage: 10Gi
? accessModes:
? ? - ReadWriteOnce
? persistentVolumeReclaimPolicy: Recycle
? storageClassName: nfs
? nfs:
? ? server: 192.168.0.186 ?#这里请写nfs服务器的ip?
? ? path: /nfs/data/esdata
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
? name: pvc-es-master
? namespace: ns-elasticsearch
spec:
? accessModes:
? ? - ReadWriteOnce
? resources:
? ? requests:
? ? ? storage: 1Gi
? storageClassName: nfs
? selector:
? ? matchLabels:
? ? ? pv: pv-es-master ?
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
? name: pvc-es-data
? namespace: ns-elasticsearch
spec:
? accessModes:
? ? - ReadWriteOnce
? resources:
? ? requests:
? ? ? storage: 10Gi
? storageClassName: nfs
? selector:
? ? matchLabels:
? ? ? pv: pv-es-data

elasticsearch.yaml内容

---
apiVersion: v1
kind: ServiceAccount
metadata:
  labels:
    elastic-app: elasticsearch
  name: elasticsearch-admin
  namespace: ns-elasticsearch

---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: elasticsearch-admin
  labels:
    elastic-app: elasticsearch
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: cluster-admin
subjects:
  - kind: ServiceAccount
    name: elasticsearch-admin
    namespace: ns-elasticsearch

---
kind: StatefulSet
apiVersion: apps/v1
metadata:
  labels:
    elastic-app: elasticsearch
    role: master
  name: elasticsearch-master
  namespace: ns-elasticsearch
spec:
  serviceName: es-master
  replicas: 3
  revisionHistoryLimit: 10
  selector:
    matchLabels:
      elastic-app: elasticsearch
      role: master
  template:
    metadata:
      labels:
        elastic-app: elasticsearch
        role: master
    spec:
      #将持久卷声明  
      volumes:
       - name: pv-storage-elastic-master
         persistentVolumeClaim:
           claimName: pvc-es-master     
      nodeSelector:
        es: enable
      containers:
        - name: elasticsearch-master
          image: elasticsearch:7.6.2
          lifecycle:
            postStart:
              exec:
                command: ["/bin/bash", "-c", "sysctl -w vm.max_map_count=262144; ulimit -l unlimited;chown -R elasticsearch:elasticsearch /usr/share/elasticsearch/data;"]
          ports:
            - containerPort: 9200
              protocol: TCP
            - containerPort: 9300
              protocol: TCP
          env:
            - name: MY_POD_NAME
              valueFrom:
                fieldRef:
                  apiVersion: v1
                  fieldPath: metadata.name
            #修改es默认的数据存储目录，否则多个节点同时写一个目录es权限不允许                                           
            - name: "path.data"
              value: "/usr/share/elasticsearch/data/$(MY_POD_NAME)"            
            - name: "cluster.name"
              value: "elasticsearch-cluster"
            - name: "bootstrap.memory_lock"
              value: "true"
            - name: "discovery.seed_hosts" #7.x的配置方式
              value: "elasticsearch-discovery"
            - name: "node.master"
              value: "true"
            - name: "node.data"
              value: "false"
            - name: "node.ingest"
              value: "false"
            - name: "ES_JAVA_OPTS"
              value: "-Xms1024m -Xmx1024m"
            - name: "cluster.initial_master_nodes"
              value: "elasticsearch-master-0,elasticsearch-master-1,elasticsearch-master-2"
          securityContext:
            privileged: true
          #将持久卷映射为数据目录的父目录  
          volumeMounts:
            - name: pv-storage-elastic-master
              mountPath: /usr/share/elasticsearch/data/            
      imagePullSecrets:
      - name: aliyun-secret            
      serviceAccountName: elasticsearch-admin
      tolerations:
        - key: node-role.kubernetes.io/master
          effect: NoSchedule

---
kind: Service
apiVersion: v1
metadata:
  labels:
    elastic-app: elasticsearch
  name: elasticsearch-discovery
  namespace: ns-elasticsearch
spec:
  ports:
    - port: 9300
      targetPort: 9300
  selector:
    elastic-app: elasticsearch
    role: master

---
kind: StatefulSet
apiVersion: apps/v1
metadata:
  labels:
    elastic-app: elasticsearch
    role: data
  name: elasticsearch-data
  namespace: ns-elasticsearch
spec:
  serviceName: es-data  
  replicas: 2
  revisionHistoryLimit: 10
  selector:
    matchLabels:
      elastic-app: elasticsearch
  template:
    metadata:
      labels:
        elastic-app: elasticsearch
        role: data
    spec:
      #将es-data持久卷声明
      volumes:
       - name: pv-storage-elastic-data
         persistentVolumeClaim:
           claimName: pvc-es-data 
      nodeSelector:
        es: enable
      containers:
        - name: elasticsearch-data
          image: elasticsearch:7.6.2
          lifecycle:
            postStart:
              exec:
                command: ["/bin/bash", "-c", "sysctl -w vm.max_map_count=262144; ulimit -l unlimited;chown -R elasticsearch:elasticsearch /usr/share/elasticsearch/data;"]
          ports:
            - containerPort: 9200
              protocol: TCP
            - containerPort: 9300
              protocol: TCP
          env:
            - name: MY_POD_NAME
              valueFrom:
                fieldRef:
                  apiVersion: v1
                  fieldPath: metadata.name
            #修改es默认的数据存储目录，否则多个节点同时写一个目录es权限不允许                  
            - name: "path.data"
              value: "/usr/share/elasticsearch/data/$(MY_POD_NAME)"
            - name: "cluster.name"
              value: "elasticsearch-cluster"
            - name: "bootstrap.memory_lock"
              value: "true"
            - name: "discovery.seed_hosts"
              value: "elasticsearch-discovery"
            - name: "node.master"
              value: "false"
            - name: "node.data"
              value: "true"
            - name: "ES_JAVA_OPTS"
              value: "-Xms1024m -Xmx1024m"
          securityContext:
            privileged: true
          #将持久卷映射到数据目录的父目录  
          volumeMounts:
            - name: pv-storage-elastic-data
              mountPath: /usr/share/elasticsearch/data/
      # imagePullSecrets:
      # - name: aliyun-secret          
      serviceAccountName: elasticsearch-admin
      tolerations:
        - key: node-role.kubernetes.io/master
          effect: NoSchedule

---
kind: Service
apiVersion: v1
metadata:
  labels:
    elastic-app: elasticsearch-service
  name: elasticsearch-service
  namespace: ns-elasticsearch
spec:
  ports:
    - port: 9200
      targetPort: 9200
      nodePort: 32000
  selector:
    elastic-app: elasticsearch
  type: NodePort

---
kind: Service
apiVersion: v1
metadata:
  labels:
    elastic-app: elasticsearch-service
  name: elasticsearch-api-service
  namespace: ns-elasticsearch
spec:
  ports:
    - port: 9300
      targetPort: 9300
      nodePort: 32100
  selector:
    elastic-app: elasticsearch
  type: NodePort
segegefe
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
ElasticSearch on K8s 日志收集
Levin的技术工厂
11-01 829
在搭建好K8s集群后,会在集群上部署一系列自己需要的应用,那么这些应用如何收集利用是个最大的问题,今天就来说一下如何搭建Es on k8s 并且将pod中产生的日志写到es并用kibana查询的方法。下面见干活 注意 日志收集采用的是k8s+es+kibana+fluentd实现 docker的Log Driver一定要是json-file模式,可以用 docker info | grep ”Logging Driver"命令查看 如果在生产环境下部署es到k8s一定要考虑好磁盘容量的问题,提前进行磁盘的
k8s1.20.x安装包
08-18
【标题】"k8s1.20.x安装包"涉及的是Kubernetes...总之，k8s1.20.x安装包提供了搭建和管理Kubernetes集群所需的所有基本组件，通过一系列配置和部署步骤，用户可以在自己的环境中构建一个强大且可靠的容器化应用平台。
在k8s中部署Elasticsearch高可用集群详细教程
最新发布
博客虽小，世界尽在其中
06-13 3097
本文详细介绍了如何在Kubernetes（简称K8s）环境中部署一个高可用的Elasticsearch集群。随着数据量的不断增长，Elasticsearch因其强大的全文搜索和数据分析功能而备受欢迎。然而，如何确保Elasticsearch集群的高可用性、稳定性和可扩展性成为了一个重要议题。本文将从环境准备、配置设计、部署步骤和监控管理等方面全面阐述如何在K8s中构建和运维一个健壮的Elasticsearch集群。
ElasticSearch 8.12.0 K8S部署实践【超详细】【一站式】
fireshark
02-23 3496
近日在k8s上部署了一个ES8.12.0的集群，在部署过程中，发现无论是官方、还是网上的文章，都没有一站式能搞定的（官网文档非常碎片化，出了问题只能去官网的问题反馈去查，网上的其他文章可能是版本的问题与最新版ES不太适配），因此把我的部署过程整理分享出来，希望能帮到需要的同学。
k8s部署EFK-elasticsearch+fluentd+kibana
qq_36200932的博客
03-07 5207
参考地址 https://kubernetes.io/docs/concepts/services-networking/service/#headless-services https://www.qikqiak.com/post/install-efk-stack-on-k8s/
【云原生】Elasticsearch + kibana on k8s 讲解与实战操作
匠人精神，持之以恒！
10-14 2566
Elasticsearch是一个基于Lucene的搜索引擎。它提供了具有HTTP Web界面和无架构JSON文档的分布式，多租户能力的全文搜索引擎。Elasticsearch是用Java开发的，根据Apache许可条款作为开源发布。GitHub:面试宝典之——Elasticsearch。
Kubernetes持久化部署elasticsearch7.15.0分布式集群
02-21
原文链接：https://blog.csdn.net/m0_37814112/article/details/122965720 说明：包含elasticsearch7.15.0集群3节点、5节点、7节点等三种方式的K8S部署yaml文件、镜像文件，里面有详细的README.txt部署参考
记一次K8s EFK(elasticsearch+fluentd+kibana)搭建排错经历
01-07
部署教程：https://qhh.me/2019/09/05/Kubernetes-基于-EFK-技术栈的日志收集实践/ yaml地址：...Elasticsearch 数据持久化：默认 EmptyDir 的方
k8s学习资料.zip
02-07
Kubernetes（简称k8s）是Google开源的容器集群管理系统，它能够自动化容器的部署、扩展以及管理，使得在大规模分布式环境中运行容器化应用变得更加容易。本资料包包含了丰富的k8s学习资源，帮助你深入理解和掌握这个...
docker es持久化_Docker 卷与持久化数据
weixin_35974392的博客
01-10 700
# Docker的非持久化数据每个Docker容器都有自己的非持久化存储。非持久化存储自动创建，从属于容器，生命周期与容器相同。这意味着删除容器也会删除全部非持久化数据。# Docker的持久化数据如果希望自己的容器数据保留下来(持久化)，则需要将数据存储在卷上。卷与容器是解耦的，从而可以独立地创建并管理卷，并且卷并未与任意容器生命周期绑定。最终效果即用户可以删除一个关联了卷的容器，但是...
elasticsearch报错，failed to obtain node locks
loveLifeLoveCoding的博客
08-22 2234
这个错误网上有很多解决方案，基本上就是杀掉es进程，事实上，这个问题的原因可能不仅仅是一样的。“failed to obtain node locks”的原因通常是没有获得这个lock文件的操作权限。node.lock被其他进程使用了，这也是网上大多数的解释。解决方案呢，首先查看es的进程，然后杀掉。在使用上面的解决方案前，可以先确认下node.lock是否被某个进程占用，命令如下。ES运行时报错，failed to obtain。
k8s 部署 elasticsearch 单节点
明月照大江
02-19 3423
创建 /data/es-data 将下面的yaml复制到file.yaml,执行kubectl apply -f file.yaml kubectl get pods apiVersion: v1 kind: PersistentVolume metadata: name: es-pv spec: capacity: storage: 5Gi accessModes: - ReadWriteMany persistentVolumeReclaimPolicy: Retain .
在k8s上部署ES集群
热门推荐
你说亮不亮的博客
01-07 1万+
一、k8s集群架构： IP 角色 192.168.1.3 master1 192.168.1.4 master2 192.168.1.5 master3 192.168.1.6 node1 192.168.1.7 node2 二、部署ES集群 1、配置storageclass，用于动态创建pvc，并自动绑定pv [root@master1 tmp]# cat sc.yaml kind: StorageClass apiVersion: storage.k8s.io/v1
k8s部署生产级elasticsearch+kibana 步骤、踩坑及解决方案
小恺的工作生活拾遗
01-13 8341
k8s,elasticsearch部署,kibana部署
K8S篇-搭建kubenetes集群
一叶知秋
02-24 1517
centos部署一主二从kubenetes集群
K8S部署(Elasticsearch+Kibana+Fluentd)
liuchao666888的博客
10-26 5460
实验环境版本 Kubernetes：v1.14.1 Elasticsearch镜像：docker.elastic.co/elasticsearch/elasticsearch:7.6.2 Kibana 镜像：docker.elastic.co/kibana/kibana:7.6.2 Fluentd 镜像：quay.io/fluentd_elasticsearch/fluentd:v3.0.1 简介 1、Elasticsearch Elasticsearch 是一个实时的、分布式的可扩展的搜索引擎，允许进行
:Elasticsearch 8.x K8S 部署集群
04-20
Elasticsearch是一个开源的分布式搜索和分析引擎，用于处理大规模数据的实时搜索和分析。Kubernetes（简称K8S）是一个用于自动化部署、扩展和管理容器化应用程序的开源平台。 要在Kubernetes上部署Elasticsearch 8.x集群，可以按照以下步骤进行操作： 1. 创建Kubernetes集群：首先，需要在Kubernetes上创建一个可用的集群。可以使用云服务提供商（如AWS、Azure、GCP）或自己搭建的Kubernetes集群。 2. 安装Elasticsearch Operator：Elasticsearch Operator是一个Kubernetes控制器，用于管理Elasticsearch集群的生命周期。可以通过在Kubernetes上安装Elasticsearch Operator来简化集群的管理。 3. 创建Elasticsearch集群配置：使用Elasticsearch Operator创建一个Elasticsearch集群配置文件。配置文件中包含了集群的规模、存储需求、网络设置等信息。 4. 部署Elasticsearch集群：使用kubectl命令或Kubernetes Dashboard将Elasticsearch集群配置文件部署到Kubernetes集群中。Kubernetes会自动创建和管理Elasticsearch节点的Pod。 5. 配置Elasticsearch集群：根据需求，可以配置Elasticsearch集群的参数，如节点数量、副本数、内存和存储资源等。 6. 监控和日志收集：为了监控和管理Elasticsearch集群，可以使用Kubernetes提供的监控和日志收集工具，如Prometheus、Grafana和Elasticsearch自带的监控插件。 7. 高可用性和扩展性：为了实现高可用性和扩展性，可以使用Kubernetes的特性，如水平扩展、自动伸缩和故障转移等。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值