Centos7下Kubernetes配置使用GlusterFS

最新推荐文章于 2024-08-02 22:06:07 发布
最新推荐文章于 2024-08-02 22:06:07 发布
阅读量476 收藏
点赞数
分类专栏： kubernetes

操作环境

网络拓扑



环境说明：

OS：
[html]  view plain  copy
  1. CentOS Linux release 7.4.1708   
docker：

[html]  view plain  copy
  1. Client:  
  2.  Version:         1.12.6  
  3.  API version:     1.24  
  4.  Package version: docker-1.12.6-68.gitec8512b.el7.centos.x86_64  
  5.  Go version:      go1.8.3  
  6.  Git commit:      ec8512b/1.12.6  
  7.  Built:           Mon Dec 11 16:08:42 2017  
  8.  OS/Arch:         linux/amd64  
  9.   
  10. Server:  
  11.  Version:         1.12.6  
  12.  API version:     1.24  
  13.  Package version: docker-1.12.6-68.gitec8512b.el7.centos.x86_64  
  14.  Go version:      go1.8.3  
  15.  Git commit:      ec8512b/1.12.6  
  16.  Built:           Mon Dec 11 16:08:42 2017  
  17.  OS/Arch:         linux/amd64  
kubernetes：

[html]  view plain  copy
  1. Kubernetes v1.5.2  
glusterfs：

[html]  view plain  copy
  1. glusterfs 3.12.3  

操作步骤

    Kubernetes环境已经完成部署完成，部署步骤参照  Centos7 下Kubernetes集群安装部署。

部署Glusterfs

    这里有5台服务器，10.10.200.226、10.10.200.227作为GlusterFS存储服务器，10.10.200.224、

10.10.200.229、10.10.200.230调用GlusterFS，同样也需要安装Gluster。

1.分别在5台服务器上安装Gluster

[html]  view plain  copy
  1. [root@k8s-master ~]#yum -y install centos-release-gluster  
  2. [root@k8s-master ~]#yum -y install glusterfs glusterfs-fuse glusterfs-server  
2.启动Glusterfs


[html]  view plain  copy
  1. [root@k8s-master ~]#systemctl enable glusterd  
  2. [root@k8s-master ~]#systemctl start glusterd  
3.创建GlusterFS Cluster

编辑/etc/hosts文件

[html]  view plain  copy
  1. [root@k8s-master ~]# vi /etc/hosts  
  2. 127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4  
  3. ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6  
  4. 10.10.200.226   glusterfs-node1  
  5. 10.10.200.227   glusterfs-node2  
  6. 10.10.200.224   k8s-master  
  7. 10.10.200.229   k8s-node1  
  8. 10.10.200.230   k8s-node2  
选择1台服务器添加其他服务器

[html]  view plain  copy
  1. [root@gluster-node1 ~]#gluster peer probe k8s-master  
  2. [root@gluster-node1 ~]#gluster peer probe k8s-node1  
  3. [root@gluster-node1 ~]#gluster peer probe k8s-node2  
  4. [root@gluster-node1 ~]#gluster peer probe gluster-node2  
查看gluster节点状态

[html]  view plain  copy
  1. [root@k8s-master yaml]# gluster peer status  
  2. Number of Peers: 4  
  3.   
  4. Hostname: glusterfs-node2  
  5. Uuid: 3c5c5994-0c05-4be0-9ec3-a431f193a1f0  
  6. State: Peer in Cluster (Connected)  
  7.   
  8. Hostname: glusterfs-node1  
  9. Uuid: 31ac3dff-94a3-4166-991b-bf4727113539  
  10. State: Peer in Cluster (Connected)  
  11.   
  12. Hostname: 10.10.200.229  
  13. Uuid: 7c2f03fe-e2cb-412e-a91f-2baf873610ef  
  14. State: Peer in Cluster (Connected)  
  15. Other names:  
  16. 10.10.200.229  
  17.   
  18. Hostname: 10.10.200.230  
  19. Uuid: 314a7676-d1eb-4c58-9617-8c510c93961d  
  20. State: Peer in Cluster (Connected)  


3.创建volume

这里只选择10.10.200.226/10.10.200.227来进行创建volume


[html]  view plain  copy
  1. [root@gluster-node1 brick1]# gluster volume create mysql-volume replica 2 glusterfs-node2:/data/brick1/mysql-volume/ glusterfs-node1:/data/brick1/mysql-volume/  
启动mysql-volume


[html]  view plain  copy
  1. [root@gluster-node1 brick1]# gluster volume start mysql-volume  
  2. volume start: mysql-volume: success  

查看volume状态

[html]  view plain  copy
  1. [root@gluster-node1 brick1]# gluster volume status  
  2. Status of volume: mysql-volume  
  3. Gluster process                             TCP Port  RDMA Port  Online  Pid  
  4. ------------------------------------------------------------------------------  
  5. Brick glusterfs-node2:/data/brick1/mysql-vo  
  6. lume                                        49152     0          Y       2976   
  7. Brick glusterfs-node1:/data/brick1/mysql-vo  
  8. lume                                        49152     0          Y       7835   
  9. Self-heal Daemon on localhost               N/A       N/A        Y       7856   
  10. Self-heal Daemon on k8s-master              N/A       N/A        Y       2025   
  11. Self-heal Daemon on glusterfs-node2         N/A       N/A        Y       2997   
  12.    
  13. Task Status of Volume mysql-volume  
  14. ------------------------------------------------------------------------------  
  15. There are no active volume tasks  
到这里就完成了2台Glusterfs存储服务器的配置

配置Kubernetes

    可以在https://github.com/kubernetes/kubernetes/tree/master/examples/volumes/glusterfs上面找

到kuernetes配置gluster的文件glusterfs-endpoint.json/glusterfs-pod.json/glusterfs-services.json。

     这里只需要glusterfs-endpoint.json，glusterfs-service.json。

修改glusterfs-endpoint.json文件如下，主要是ip地址的修改

[html]  view plain  copy
  1. [root@k8s-master yaml]# vi glusterfs-endpoints.json   
  2. {  
  3.   "kind": "Endpoints",  
  4.   "apiVersion": "v1",  
  5.   "metadata": {  
  6.     "name": "glusterfs-cluster"  
  7.   },  
  8.   "subsets": [  
  9.     {  
  10.       "addresses": [  
  11.         {  
  12.           "ip": "10.10.200.226"  
  13.         }  
  14.       ],  
  15.       "ports": [  
  16.         {  
  17.           "port": 1  
  18.         }  
  19.       ]  
  20.     },  
  21.     {  
  22.       "addresses": [  
  23.         {  
  24.           "ip": "10.10.200.227"  
  25.         }  
  26.       ],  
  27.       "ports": [  
  28.         {  
  29.           "port": 1  
  30.         }  
  31.       ]  
  32.     }  
  33.   ]  
  34. }  
glusterfs-service.json文件如下，不需修改

[html]  view plain  copy
  1. [root@k8s-master yaml]# vi glusterfs-service.json   
  2. {  
  3.   "kind": "Service",  
  4.   "apiVersion": "v1",  
  5.   "metadata": {  
  6.     "name": "glusterfs-cluster"  
  7.   },  
  8.   "spec": {  
  9.     "ports": [  
  10.       {"port": 1}  
  11.     ]  
  12.   }  
  13. }  
启用上述两文件

[html]  view plain  copy
  1. [root@k8s-master yaml]# kubectl apply -f glusterfs-endpoints.json   
  2. endpoints "glusterfs-cluster" created  
  3. [root@k8s-master yaml]# kubectl apply -f glusterfs-service.json   
  4. service "glusterfs-cluster" created  
[html]  view plain  copy
  1. [root@k8s-master yaml]# kubectl get ep  
  2. NAME                ENDPOINTS                         AGE  
  3. glusterfs-cluster   10.10.200.226:1,10.10.200.227:1   31s  
  4. kubernetes          10.10.200.224:6443                6d  
  5. [root@k8s-master yaml]# kubectl get service  
  6. NAME                CLUSTER-IP      EXTERNAL-IP   PORT(S)   AGE  
  7. glusterfs-cluster   172.17.62.135   <none>        1/TCP     33s  
  8. kubernetes          10.254.0.1      <none>        443/TCP   6d  
创建presistent volume以及presistent volume claim yaml文件

[html]  view plain  copy
  1. [root@k8s-master yaml]# vi glusterfs-pv.yaml   
  2. apiVersion: v1  
  3. kind: PersistentVolume  
  4. metadata:  
  5.   name: gluster-dev-volume1  
  6.   labels:  
  7.     name: mysql1  
  8.   
  9. spec:  
  10.   capacity:  
  11.     storage: 10Gi  
  12.   accessModes:  
  13.     - ReadWriteMany  
  14.   glusterfs:  
  15.     endpoints: "glusterfs-cluster"  
  16.     path: "mysql-volume"  
  17.     readOnly: false  
[html]  view plain  copy
  1. [root@k8s-master yaml]# vi glusterfs-pvc.yaml   
  2. apiVersion: v1  
  3. kind: PersistentVolumeClaim  
  4. metadata:  
  5.   name: glusterfs-mysql1  
  6. spec:  
  7.   accessModes:  
  8.     - ReadWriteMany  
  9.   resources:  
  10.     requests:  
  11.       storage: 10Gi  
  12.   selector:  
  13.     matchLabels:  
  14.       name: "mysql1"  
启动上述两文件

[html]  view plain  copy
  1. [root@k8s-master yaml]# kubectl apply -f glusterfs-pv.yaml   
  2. persistentvolume "gluster-dev-volume1" created  
  3. [root@k8s-master yaml]# kubectl apply -f glusterfs-pvc.yaml   
  4. persistentvolumeclaim "glusterfs-mysql1" created  
  5. [root@k8s-master yaml]# kubectl get pv  
  6. NAME                  CAPACITY   ACCESSMODES   RECLAIMPOLICY   STATUS    CLAIM                      REASON    AGE  
  7. gluster-dev-volume1   10Gi       RWX           Retain          Bound     default/glusterfs-mysql1             8s  
  8. [root@k8s-master yaml]# kubectl get pvc  
  9. NAME               STATUS    VOLUME                CAPACITY   ACCESSMODES   AGE  

glusterfs-mysql1 Bound gluster-dev-volume1 10Gi RWX 6s

以上就完成了kubernetes配置glusterfs的全过程，下面我们通过运行mysql测试一下，编写mysql deployment yaml如下

[html]  view plain  copy
  1. [root@k8s-master yaml]# vi mysql-deployment.yaml   
  2. apiVersion: v1  
  3. kind: Service  
  4. metadata:  
  5.   name: mysql  
  6.   labels:  
  7.     name: mysql  
  8. spec:  
  9.   type: NodePort  
  10.   ports:  
  11.   - name: mysqlport  
  12.     port: 3306  
  13.     nodePort: 32006  
  14.   selector:  
  15.     name: mysql  
  16. ---  
  17.   
  18. apiVersion: extensions/v1beta1  
  19. kind: Deployment  
  20. metadata:  
  21.   name: mysql  
  22. spec:  
  23.   replicas: 1  
  24.   template:  
  25.     metadata:  
  26.       labels:  
  27.         name: mysql  
  28.     spec:  
  29.       containers:  
  30.         - name: mysqlcontainer  
  31.           image: docker.io/mysql  
  32.           imagePullPolicy: IfNotPresent  
  33.           env:  
  34.           - name: MYSQL_ROOT_PASSWORD  
  35.             value: root123456  
  36.           ports:  
  37.             - containerPort : 3306  
  38.           volumeMounts:  
  39.             - name: gluster-mysql-data  
  40.               mountPath: "/var/lib/mysql"  
  41.       volumes:  
  42.         - name: gluster-mysql-data  
  43.           persistentVolumeClaim:  
  44.             claimName: glusterfs-mysql1  

启动该文件

[html]  view plain  copy
  1. [root@k8s-master yaml]# kubectl apply -f mysql-deployment.yaml   
  2. service "mysql" created  
  3. deployment "mysql" configured  

查看状态

[html]  view plain  copy
  1. [root@k8s-master yaml]# kubectl get service  
  2. NAME                CLUSTER-IP       EXTERNAL-IP   PORT(S)          AGE  
  3. glusterfs-cluster   172.17.62.135    <none>        1/TCP            13m  
  4. kubernetes          10.254.0.1       <none>        443/TCP          6d  
  5. mysql               172.17.231.221   <nodes>       3306:32006/TCP   1m  
  6. [root@k8s-master yaml]# kubectl get pods  
  7. NAME                     READY     STATUS    RESTARTS   AGE  
  8. mysql-3736381796-5j11t   1/1       Running   0          1m  
  9. nginx-controller-1hxkz   1/1       Running   3          3d  
  10. nginx-controller-3xcl8   1/1       Running   3          3d  
  11. [root@k8s-master yaml]# kubectl get pods -o wide  
  12. NAME                     READY     STATUS    RESTARTS   AGE       IP            NODE  
  13. mysql-3736381796-5j11t   1/1       Running   0          1m        172.17.99.3   10.10.200.230  
  14. nginx-controller-1hxkz   1/1       Running   3          3d        172.17.99.2   10.10.200.230  
  15. nginx-controller-3xcl8   1/1       Running   3          3d        172.17.17.2   10.10.200.229  

登录mysql

[html]  view plain  copy
  1. [root@k8s-node2 ~]# mysql -h 10.10.200.230 -P 32006 -uroot -proot123456  
  2. Welcome to the MariaDB monitor.  Commands end with ; or \g.  
  3. Your MySQL connection id is 3  
  4. Server version: 5.7.20 MySQL Community Server (GPL)  
  5.   
  6. Copyright (c) 2000, 2017, Oracle, MariaDB Corporation Ab and others.  
  7.   
  8. Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.  
  9.   
  10. MySQL [(none)]>   











hxpjava1
关注
专栏目录
动态存储管理实战： 独立部署GlusterFS
zhangshaohuas的博客
07-22 283
准备 工作 为了能够使用GlusterFS，首先在计划用于GlusterFS的各个Node上安装GlusterFS客户端： yum -y install glusterfs glusterfs-fuse GlusterFS 管理服务容器需要以特权模式运行，在kube-apiserver的启动参数中增加： vim /etc/kubernetes/apiserver 新增： --allow-privileged=true 重启kube-apiserver服务 给节点打标签，是为了将GlusterFS容器定向
glusterfs中部署mysql_Centos7通过Kubernetes+GlusterFS部署wordpress+mysql
weixin_39717865的博客
01-27 90
glusterfs 3.12.3操作步骤这里的配置步骤都是基于前几篇文章来的，就不详细说明了PV&PVC配置1.编写mysql pv yaml文件如下：[root@k8s-master yaml]# vi glusterfs-pv.yamlapiVersion: v1kind: PersistentVolumemetadata:name: wordpress-mysqllabels:nam...
Centos7通过Kubernetes+GlusterFS部署wordpress+mysql
bobpen的专栏
01-10 1187
操作环境 网络拓扑图 OS CentOS Linux release 7.4.1708 (Core) docker Client: Version: 1.12.6 API version: 1.24 Package version: docker-1.12.6-68.gitec8512b.el7.centos.x86_64 Go ve
KubeSphere 部署的 (k8s)Kubernetes 集群使用 GlusterFS 存储实战入门
最新发布
Richardlygo的博客
08-02 1123
上一期实战课程，我们模拟真实的生产环境实战演示了如何使用 KubeKey 将新增 Worker 节点添加到已有的 Kubernetes 集群。最终我们部署完成了一套 3 Master 和 3 Worker 节点的 Kubernetes 集群。本期实战课程，我们将实战如何在上安装部署 GlusterFS、Hekeiti 以及 Kubernetes 使用模式对接 GlusterFS 做为集群的后端存储。
Kubernetes+GlusterFS
weixin_44949973的博客
11-28 239
环境准备： host IP master01 192.168.200.150 node01 192.168.200.151 node02 192.168.200.152 1.使用kubeadm快速安装kubenrnetes集群 略 2.安装，配置GlusterFs： 1.在每台物理主机采用yum安装的方式gluster源以及相关组件： yum -y install c...
kubernetes中挂载glusterfs并使用
weixin_34342207的博客
04-13 1237
一、所有k8s节点安装glusterfs客户端安装客户端yuminstall-yglusterfsglusterfs-fuse在hosts中加入所有gluster的节点vim/etc/hosts 172.19.12.193gluster-manager 172.19.12.194gluster-node1 172.19.12.195gluster-nod...
Kubernetes存储之Heketi管理GlusterFS
weixin_44949973的博客
11-28 1918
Kubernetes存储之Heketi管理GlusterFS GlusterFS是一个可扩展，分布式文件系统，集成来自多台服务器上的磁盘存储资源到单一全局命名空间，以提供共享文件存储 特点： 可以扩展到几PB容量 支持处理数千个客户端 兼容POSIX接口 使用通用硬件，普通服务器即可构建 能够使用支持扩展属性的文件系统，例如ext4，XFS 支持...
k8s 使用GlusterFS做持久化存储
宫凯宁的博客
07-20 1597
一、创建GlusterFS 首先找几台主机做GlusterFS存储，这里用了3台主机： 10.244.0.10 10.244.0.11 10.244.0.12 安装GlusterFS 安装过程如下： 安装 gluster 源 yum install centos-release-gluster -y 安装 glusterfs 组件 yum install -y glusterfs gl...
CentOS 6.7 安装及基本配置，分布式系统搭建
12-27
3. **安装集群软件**: 根据需要选择并安装集群软件，如Hadoop、Kubernetes或GlusterFS。 4. **配置集群**: 配置各个节点的角色和服务，确保一致性。 5. **测试集群**: 执行基准测试和压力测试，确保集群功能正常且...
附010.Kubernetes永久存储之GlusterFS超融合部署
weixin_44626952的博客
11-23 825
一 前期准备 1.1 基础知识 在Kubernetes中，使用GlusterFS文件系统，操作步骤通常是： 创建brick-->创建volume-->创建PV-->创建PVC-->Pod挂载PVC 如果要创建多个PV，则需要手动重复执行，可通过Heketi管理glusterfs。 Heketi是用来管理GlusterFS卷的生命周期...
Kubernetes部署GlusterFS
mark's technic world
03-03 4512
存储是容器编排中非常重要的一部分。Kubernetes从v1.2开始，提供了dynamic provisioning这一强大的特性，可以给集群提供按需分配的存储，并能支持包括AWS-EBS、GCE-PD、Cinder-Openstack、Ceph、GlusterFS等多种云存储。非官方支持的存储也可以通过编写plugin方式支持。在没有dynamic provisioning时，容器为了使用Vol...
kubernetes存储-glusterfs
wuxingge的博客
10-01 213
glusterfs-endpoints.yaml文件中的资源示例中定义了三个接入相关的Gluster存储集群的节点gfs01.ilinux.io、gfs02.ilinux.io和gfs03.ilinux.io，其中的端口信息仅为满足Endpoints资源的必选字段要求，因此其值可以随意填写 glusterfs-endpoints.yaml apiVersion: v1 kind: Endpoint...
使用GlusterFS作为Kubernetes的后端存储
全栈工程师开发手册（原创）https://github.com/tencentmusic/cube-studio
02-17 2136
用GlusterFS作为Kubernetes的存储 这里简单的介绍一下使用基于容器化的GlusterFS + heketi作kubernetes的后端存储的部署方式；对于GlusterFS的介绍这里就不多说了；部署过程主要参考：gluster-kubernetes 1、环境 [root@master-0 ~]# kubectl get nodes -o wide NAME STAT...
kubernetes动态存储之glusterfs集群（heketi）
taonihou_的博客
08-05 863
kubernetes存储类资源的详细实现过程
在k8s中部署glusterfs-kubernetes
weixin_30664539的博客
08-21 405
GlusterFS是一个开源的分布式文件系统，具有强大的横向扩展能力，通过扩展能够支持数PB存储容量和处理数千客户端。GlusterFS借助TCP/IP或InfiniBandRDMA网络将物理分布的存储资源聚集在一起，使用单一全局命名空间来管理数据。 Heketi（https://github.com/heketi/heketi），是一个基于RESTful API的GlusterFS卷管...
kubernetes集群部署GlusterFS分布式文件系统
刘元林的博客
05-31 1032
#1.metadata:data:EOF##2.metadata:true 2d23h定义文件如下，该PVC申请1G空间，StorageClass使用gluster-heketi。PVC一旦生成，系统便触发Heketi进行相应操作：1、GlusterFS集群上创建Brick，再创建Volume。
k8s 配置 glusterFS 动态供给
甄能忽悠的博客
05-05 1989
部署环境 Host IP k8s 版本 glusterFS版本 heketi版本 heketi-client 版本 k8s-master1 192.168.10.1 1.20.0 9.5-1.el7 heketi-8.0.0-1 heketi-client-8.0.0-1 k8s-master2 192.168.10.2 1.20.0 9.5-1.el7 heketi-8.0.0-1 heketi-client-8.0.0-1 k8s-master3 192.168.10.3 1.2
生产实践：使用 GlusterFS 搭建 Kubernetes 存储卷集群
dweizhao的专栏
12-07 323
在上一篇文章中，我们已经介绍了如何进行基于k8s做私有化部署。现在我们将重点讨论如何使用 GlusterFS 搭建一个可靠的存储解决方案，以供 Kubernetes 集群使用。
CentOS 7下部署和配置GlusterFS分布式存储详解
本文档详细介绍了如何在CentOS 7系统上安装和配置GlusterFS，这是一种开源的分布式文件系统，以其无中心节点、高可用性和可扩展性著称。GlusterFS的核心概念包括： 1. **Brick**: GlusterFS的基本存储单元，它在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值