Glusterf集群搭建并使用k8s

GlusterFS集群搭建

GlusterFS是一个开源的横向扩展文件系统。这些示例提供有关如何允许容器使用GlusterFS卷的信息。

该示例假定您已经设置了GlusterFS服务器集群，并且已准备好在容器中使用正在运行的GlusterFS卷。

先决条件
Kubernetes集群已经搭建好。

环境介绍

由于在本地搭建我复用kubernetes的三台主机做glusterfs存储。

OS系统：Centos 7.x
Glusterfs两个节点：192.168.8.101，192.168.8.102

一、yum安装glusterfs

1、安装glusterfs

# 先安装 gluster 源
$ yum install centos-release-gluster -y

# 安装 glusterfs 组件
$ yum install -y glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma glusterfs-geo-replication glusterfs-devel

## 创建 glusterfs 目录
$ mkdir /opt/glusterd

## 修改 glusterd 目录
$ sed -i 's/var\/lib/opt/g' /etc/glusterfs/glusterd.vol

# 启动 glusterfs
$ systemctl start glusterd.service

# 设置开机启动
$ systemctl enable glusterd.service

#查看状态
$ systemctl status glusterd.service

2、配置 glusterfs

# 配置 hosts

$ vi /etc/hosts
192.168.8.100 manager
192.168.8.101 node01
192.168.8.102 node02

# 开放端口()
$ iptables -I INPUT -p tcp --dport 24007 -j ACCEPT

# 创建存储目录
$ mkdir /opt/gfs_data


# 添加节点到 集群
# 执行操作的本机不需要probe 本机
[root@manager ~]#
gluster peer probe test-002.jimmysong.io
gluster peer probe test-003.jimmysong.io

# 查看集群状态
$ gluster peer status
Number of Peers: 2

Hostname: node01
Uuid: f25546cc-2011-457d-ba24-342554b51317
State: Peer in Cluster (Connected)

Hostname: node01
Uuid: 42b6cad1-aa01-46d0-bbba-f7ec6821d66d
State: Peer in Cluster (Connected)

3、配置 volume

GlusterFS中的volume的模式有很多中，包括以下几种：

• 分布卷（默认模式）：即DHT, 也叫 分布卷: 将文件以hash算法随机分布到 一台服务器节点中存储。
• 复制模式：即AFR, 创建volume 时带 replica x 数量: 将文件复制到 replica x 个节点中。
• 条带模式：即Striped, 创建volume 时带 stripe x 数量： 将文件切割成数据块，分别存储到 stripe x 个节点中 ( 类似raid 0 )。
• 分布式条带模式：最少需要4台服务器才能创建。 创建volume 时 stripe 2 server = 4 个节点： 是DHT 与 Striped 的组合型。
• 分布式复制模式：最少需要4台服务器才能创建。 创建volume 时 replica 2 server = 4 个节点：是DHT 与 AFR 的组合型。
• 条带复制卷模式：最少需要4台服务器才能创建。 创建volume 时 stripe 2 replica 2 server = 4 个节点： 是 Striped 与 AFR 的组合型。
• 三种模式混合： 至少需要8台 服务器才能创建。 stripe 2 replica 2 , 每4个节点 组成一个 组。

因为我们只有三台主机，在此我们使用默认的分布卷模式。请勿在生产环境上使用该模式，容易导致数据丢失。

# 任意一个节点操作就可以
# 创建分布卷
$ gluster volume create k8s-volume transport tcp manager:/opt/gfs_data node02:/opt/gfs_data node02:/opt/gfs_data force

# 查看volume状态
[root@manager ~]# gluster volume info

Volume Name: k8s-volume
Type: Replicate
Volume ID: c5278d1c-8a95-44a5-ba28-aecfa34bc4ba
Status: Started
Snapshot Count: 0
Number of Bricks: 1 x 3 = 3
Transport-type: tcp
Bricks:
Brick1: manager:/opt/gfs_data
Brick2: node01:/opt/gfs_data
Brick3: node02:/opt/gfs_data
Options Reconfigured:
transport.address-family: inet
storage.fips-mode-rchecksum: on
nfs.disable: on
performance.client-io-threads: off


# 启动 分布卷
$ gluster volume start k8s-volume

4、Glusterfs调优

# 任意节点
# 开启 指定 volume 的配额
gluster volume quota k8s-volume enable

# 限制 指定 volume 的配额
gluster volume quota k8s-volume limit-usage / 1TB

# 设置 cache 大小, 默认32MB
gluster volume set k8s-volume performance.cache-size 4GB

# 设置 io 线程, 太大会导致进程崩溃
gluster volume set k8s-volume performance.io-thread-count 16

# 设置 网络检测时间, 默认42s
gluster volume set k8s-volume network.ping-timeout 10

# 设置 写缓冲区的大小, 默认1M
gluster volume set k8s-volume performance.write-behind-window-size 1024MB

二、Kubernetes配置使用GlusterFs

1、物理机上使用Gluster的volume

# 在所有 k8s node 中安装 glusterfs 客户端
$ yum install -y glusterfs glusterfs-fuse

# 配置 hosts
$ vi /etc/hosts
192.168.8.100 manager
192.168.8.101 node01
192.168.8.102 node02

因为我们glusterfs跟kubernetes集群复用主机，因为此这一步可以省去

2、配置 endpoints

# 创建 glusterfs-endpoints.yaml并写入内容
$ vim glusterfs-endpoints.yaml

apiVersion: v1
kind: Endpoints
metadata:
  name: glusterfs-cluster
subsets:
- addresses:
  - ip: 192.168.8.100
  ports:
  - port: 10028
- addresses:
  - ip: 192.168.8.101
  ports:
  - port: 10028
- addresses:
  - ip: 192.168.8.102
  ports:
  - port: 10028
  
# 创建pod
$ kubectl create glusterfs-endpoints.yaml

# 验证
$ kubectl get endpoints
NAME                ENDPOINTS
glusterfs-cluster   10.240.106.152:1,10.240.79.157:1

metadata：名称可以随便取，后面需要用到

subsets：GlusterFS群集中节点的地址填充

port: 端口这里可以（从1到65535）

3、配置 service

# 创建 glusterfs-service.yaml并写入内容
$ vim glusterfs-service.yaml
apiVersion: v1
kind: Service
metadata:
  name: glusterfs-cluster
spec:
  ports:
  - port: 10028

# service.json 里面查找的是 enpointes 的名称与端口，端口默认配置为 1，我改成了10028

# 创建pod
$ kubectl create -f glusterfs-service.yaml

# 查看 service 信息
$ kubectl get svc
NAME                TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)     AGE
glusterfs-cluster   ClusterIP   10.99.53.105   <none>        10028/TCP   101m

4、测试pod

# 创建 glusterfs-pod.yaml并写入内容
$ vim glusterfs-service.yaml
apiVersion: v1
kind: Pod
metadata:
  name: glusterfs
spec:
  containers:
  - name: glusterfs
    image: nginx
    volumeMounts:
    - mountPath: "/mnt/glusterfs"
      name: glusterfsvol
  volumes:
  - name: glusterfsvol
    glusterfs:
      endpoints: glusterfs-cluster
      path: k8s-volume
      readOnly: true
      
# 创建pod
$ kubectl create glusterfs-pod.yaml

# 查看 pods 信息
$ kubectl get pods 
NAME        READY   STATUS    RESTARTS   AGE
glusterfs   1/1     Running   0          30m

--

• endpoints是代表Gluster群集配置的Endpoints对象的名称。kubelet经过优化，可以避免装入风暴，它将从端点中随机选择一个进行装入。如果该主机无响应，则会自动选择端点中的下一个Gluster主机。
• path是Glusterfs卷的名称。
• readOnly是将安装点设置为readOnly或readWrite的布尔值。

5、配置PersistentVolume

$ cat glusterfs-pv.yaml
apiVersion: v1
kind: PersistentVolume
metadata:
  name: gluster-dev-volume
spec:
  capacity:
    storage: 8Gi
  accessModes:
    - ReadWriteMany
  glusterfs:
    endpoints: "glusterfs-cluster"
    path: "k8s-volume"
    readOnly: false

# 导入PV
$ kubectl apply -f glusterfs-pv.yaml

# 查看 pv
$ kubectl get pv
NAME                 CAPACITY   ACCESSMODES   RECLAIMPOLICY   STATUS      CLAIM     STORAGECLASS   REASON    AGE
gluster-dev-volume   8Gi        RWX           Retain          Available                     、                 3s

6、配置PVC

$ cat glusterfs-pvc.yaml
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  name: glusterfs-nginx
spec:
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 8Gi

# 导入 pvc
$ kubectl apply -f glusterfs-pvc.yaml

# 查看 pvc

$ kubectl get pv
NAME              STATUS    VOLUME               CAPACITY   ACCESSMODES   STORAGECLASS   AGE
glusterfs-nginx   Bound     gluster-dev-volume   8Gi        RWX                          4s

7、创建 nginx deployment 挂载 volume

$ vi nginx-deployment.yaml
apiVersion: apps/v1 
kind: Deployment 
metadata: 
  name: my-nginx
spec: 
  selector:
    matchLabels:
      app: my-nginx
  replicas: 2
  template: 
    metadata: 
      labels: 
        app: my-nginx 
    spec: 
      containers: 
        - name: my-nginx 
          image: nginx
          ports: 
            - containerPort: 80
          volumeMounts:
            - name: gluster-dev-volume
              mountPath: "/usr/share/nginx/html"
      volumes:
      - name: gluster-dev-volume
        persistentVolumeClaim:
          claimName: glusterfs-nginx


# 导入 deployment
$ kubectl apply -f nginx-deployment.yaml 
deployment.apps/my-nginx created（表示已成功）

# 查看 deployment
$ kubectl get pods |grep  nginx
my-nginx-59946c6c99-dhxc7   1/1     Running   0          2m11s
my-nginx-59946c6c99-q527l   1/1     Running   0          2m11s


# 查看 挂载
$ kubectl exec -it my-nginx-59946c6c99-dhxc7 -- df -h|grep k8s-volume
172.20.0.113:k8s-volume         1.0T     0  1.0T   0% /usr/share/nginx/html

# 创建文件 测试
$ kubectl exec -it my-nginx-59946c6c99-dhxc7 -- touch /usr/share/nginx/html/index.html

$ kubectl exec -it my-nginx-59946c6c99-dhxc7 -- ls -lt /usr/share/nginx/html/index.html
-rw-r--r-- 1 root root 0 May  4 11:36 /usr/share/nginx/html/index.html

# 验证 glusterfs
# 因为我们使用分布卷，所以可以看到某个节点中有文件
[root@test-001 ~] ls /opt/gfs_data/
[root@test-002 ~] ls /opt/gfs_data/
index.html
[root@test-003 ~] ls /opt/gfs_data/