GlusterFS-Kubernetes云原生存储

最新推荐文章于 2022-10-26 15:16:44 发布

weixin_34245169

最新推荐文章于 2022-10-26 15:16:44 发布

阅读量123

点赞数

原文链接：https://my.oschina.net/u/2306127/blog/1827193

版权

2019独角兽企业重金招聘Python工程师标准>>>

GlusterFS-Kubernetes云原生存储

本文编译来自 https://github.com/gluster/gluster-kubernetes
本文地址 https://my.oschina.net/u/2306127/blog/1827193，by openthings, 2018.06.08.
参考：
- Gluster官网，https://www.gluster.org/
- Gluster源码，https://github.com/gluster/glusterfs
- Gluster文档，https://docs.gluster.org/en/latest/Quick-Start-Guide/Quickstart/
- Gluster 4.0 & Kubernetes, https://www.gluster.org/gluster-4-0-kubernetes/
- GlusterFS分布式文件系统的安装配置教程,https://yq.aliyun.com/ziliao/75313
- Kubernetes部署GlusterFS
  - http://yoyolive.com/2017/03/09/Kubernetes-Deploy-GlusterFS/
- Adding new glusterfs StorageClass to Kubernetes?
  - https://stackoverflow.com/questions/47915443/adding-new-glusterfs-storageclass-to-kubernetes

gluster-kubernetes 为Kubernetes管理员提供了快速部署GlusterFS的一个机制，可以把GlusterFS作为原生存储服务部署到已存的Kubernetes集群之中。这里，GlusterFS像任何其它的Kubernetes应用一样管理和编排，这是最为快捷的释放GlusterFS作为动态存储提供者实现持久的GlusterFS存储卷的方法。

项目相关组件

Kubernetes, 容器集群管理系统。
GlusterFS, 可伸缩存储系统。
heketi, GlusterFS的RESTful volume管理接口。

演示教程

社区演示和视频在 here.

>>> Video demo of the technology! <<<

文档

快速开始

如果你已经有一个现成的kubernetes集群希望使用，确认下满足这里的要求：setup guide。

该项目包括 vagrant setup，在vagrant/ 目录下，用于在虚拟机中启动 Kubernetes 集群进行试验。为了运行vagrant setup, 确认下你的机器满足下面的条件：

4GB of memory
32GB of storage minimum, 112GB recommended
ansible
vagrant
libvirt or VirtualBox

在 vagrant/ 目录下，运行 ./up.sh 即可启动集群。

注意: 如果你计划多次运行./up.sh， vagrant setup 支持缓存的软件包和镜像。请阅读 vagrant directory README 获得更多信息，帮助进行配置和使用缓存支持。

下一步，复制 deploy/ 目录到集群的master节点。

你需要提供自己的 topology file。一个示例 topology file 包含在 deploy/ 目录下 (default location that gk-deploy expects) ，可以用于vagrant libvirt setup的 topology。当创建topology file时：

确认topology file只列出用于heketi's的 block devices。heketi需要存取整个 block devices (e.g. /dev/sdb, /dev/vdb) ，其将被分区和格式化。
这里的 hostnames 数组有一点误导，manage 将是节点的hostnames的列表，但是storage将是node上的IP addresses列表，用于后台的存储通讯。

如果你使用提供vagrant libvirt setup, 你将能够：

$ vagrant ssh-config > ssh-config
$ scp -rF ssh-config ../deploy master:
$ vagrant ssh master
[vagrant@master]$ cd deploy
[vagrant@master]$ mv topology.json.sample topology.json

下面的命令运行时时假定使用 administrative privileges (比如前面加上 sudo su).

然后，验证下 Kubernetes安装，是否所有节点都已经可用：

$ kubectl get nodes
NAME      STATUS    AGE
master    Ready     22h
node0     Ready     22h
node1     Ready     22h
node2     Ready     22h

注意: 查看 Kubernetes 版本(which will change based on latest official releases) 运行 kubectl version.

下一步，部署 heketi 和 GlusterFS，运行：

$ ./gk-deploy -g

如果你已经有了一个 GlusterFS 集群，不需要 -g 选项。

该操作结束后，GlusterFS 和 heketi 应该已经安装并准备运行。你可以设置 HEKETI_CLI_SERVER环境变量，以便 heketi-cli可以直接读取，或者发送到 curl：

$ export HEKETI_CLI_SERVER=$(kubectl get svc/heketi --template 'http://{{.spec.clusterIP}}:{{(index .spec.ports 0).port}}')

$ echo $HEKETI_CLI_SERVER
http://10.42.0.0:8080

$ curl $HEKETI_CLI_SERVER/hello
Hello from Heketi

现在的Kubernetes cluster看起来应该如下的样子（节点取决于配置）：

$ kubectl get nodes,pods
NAME      STATUS    AGE
master    Ready     22h
node0     Ready     22h
node1     Ready     22h
node2     Ready     22h
NAME                               READY     STATUS              RESTARTS   AGE
glusterfs-node0-2509304327-vpce1   1/1       Running             0          1d
glusterfs-node1-3290690057-hhq92   1/1       Running             0          1d
glusterfs-node2-4072075787-okzjv   1/1       Running             0          1d
heketi-3017632314-yyngh            1/1       Running             0          1d

现在，你可以使用 heketi-cli 或者其它 heketi REST API (like the GlusterFS volume plugin) 客户端来创建/管理 volumes，然后mount这些 volumes 以验证是否工作。在Kubernets中应用的使用例子参见：