本文将详细介绍:1) 如何基于 Kubernetes 集群部署 GraphScope ; 2) 背后的工作细节; 3) 如何在分布式环境中使用自己构建的 GraphScope 开发镜像。
上篇文章介绍了 GraphScope 可以很容易在单机环境下进行部署。然而在真实的工业场景中,需要处理的图数据规模十分巨大,已远远超过了单机的处理能力。因此除单机部署方式外,借助 vineyard 提供的分布式内存数据管理能力,GraphScope 也支持在 Kubernetes 集群上运行。
前置准备
在开始之前,请确保当前环境满足下述条件之一:
Linux 系统:ubuntu18.04+ 或 centos7+;
macOS (Big Sur) 11.2.1+。
以及具备以下依赖:
Docker
kubectl
一套可用的 K8s 环境,可以是
一个 K8s 集群
或者是 kind/minikube 之类的单机模拟集群的工具
由于 minikube 在服务暴露上与 Kubernetes 不兼容,因此本文以 Kind[1] 为例,介绍如何在本地单机构建一个虚拟 Kubernetes 集群并做部署。如果想搭建一个真实的多节点集群,可以参照 K8s 官方支持的文档[2]搭建;如果你不想手动管理一个 Kubernetes 集群,也可以选择一个经过认证的平台来托管部署服务,如 Aliyun ACK[3] 、AWS EKS[4] 等。
如果已经满足依赖并安装完 kind 之后,首先通过以下命令初始化一个本地虚拟集群:
$ kind create cluster
如果你不想手动逐个安装依赖,也可以使用 GraphScope 提供的脚本,来安装需要的依赖并初始化虚拟集群:
$ wget -O - https://raw.githubusercontent.com/alibaba/GraphScope/main/scripts/install_deps.sh | bash -s – --k8s
脚本的执行过程会安装所需依赖并尝试检测通过 Kind 拉起 Kubernetes 集群。如果你选择不使用 Kind,也可以使用社区支持的其它工具[5]搭建 Kubernetes 群集。
完成本地虚拟化集群的拉起后,我们可以运行如下命令来查看 Kubernetes 配置是正确的:
$ kubectl get nodes
NAME STATUS ROLES AGE VERSION
node1 Ready 5d9h v1.22.3-aliyun.1
如果上述命令报错,则说明集群并未准备就绪。请参考 Kubernetes 相关文档[6] 查看问题。
为了完整运行下文中的示例,你还需要在本机上安装 GraphScope Python 客户端。
pip3 install graphscope
通过 Python 进行集群部署
GraphScope 以 docker 镜像的方式发布引擎组件。默认情况下,如果运行 GraphScope 的机器不存在对应镜像,则会拉取当前版本的最新镜像,因此,请确保你的集群可以正常访问公共镜像仓库。
会话(session)[7] 作为 GraphScope 在客户端的入口,它管理着 GraphScope 背后的一组资源,并允许用户操作这组资源上 GraphScope 引擎的各个组件。接下来,我们可以通过会话(session) 在 Kubernetes 集群上创建一个拥有两个 Worker 节点的 GraphScope 实例:
import graphscope
sess = graphscope.session(num_workers=2)
print(sess)
{‘status’: ‘active’, ‘type’: ‘k8s’, ‘engine_hosts’: ‘gs-engine-jlspyc-6k8j7,gs-engine-jlspyc-mlnvb’, ‘namespace’: ‘gs-xxwczb’, ‘session_id’: ‘session_narhaktn’, ‘num_workers’: 2}
第一次部署可能会拉取镜像,因此需要等待一段时间。部署成功后,我们可以看到当前sess的状态,以及本次实例所属的命名空间[8]等。
在命令行窗口,我们可以通过 kubectl get 命令查看当前 GraphScope 实例拉起的组件:
查看拉起的 Pod
$ kubectl -n gs-xxwczb get pod
NAME READY STATUS RESTARTS AGE
coordinator-jlspyc-6d6fd7f747-9sr7x 1/1 Running 0 8m27s
gs-engine-jlspyc-6k8j7 2/2 Running 0 8m23s
gs-engine-jlspyc-mlnvb 2/2 Running 0 8m23s
gs-etcd-jlspyc-0 1/1 Running 0 8m24s
查看拉起的 Service
$ kubectl -n gs-xxwczb get service
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
coordinator-service-jlspyc NodePort 172.16.137.185 59050:32277/TCP 8m55s
gs-etcd-jlspyc-0 ClusterIP 172.16.208.134 57534/TCP,58955/TCP 8m51s
gs-etcd-service-jlspyc ClusterIP 172.16.248.69 58955/TCP 8m52s
Session 启动各组件的流程
图片
Session 启动流程
如上图所示,在这个 sess = graphscope.session(num_workers=2) 语句背后,GraphScope 拉起各个组件的流程如下:
① 默认情况下,当创建会话(session)时,该方法会为此后使用的每个 Kubernetes 对象,包括 Pod,Role 等创建一个单独的命名空间。当用户关闭会话(session)时,整个命名空间都会被删除。
② 命名空间创建完成后,后续的拉起过程是通过默认的服务账号[9]使用 Kubernetes API 完成的,由于默认的服务账号不具备读取 Pod 的权限,因此我们在客户端创建命名空间后,在对应的命名空间内使用 RBAC API 创建了一个具备操作 Pod、ReplicaSet 等对象的角色[10],此后将其绑定到默认服务账号中。这使得 GraphScope 创建的容器可以访问所属命名空间下的其他 kubernetes 对象。
③ 之后客户端会拉起 Coordinator Pod,作为 GraphScope 后端服务的总入口,通过 GRPC 与客户端通信,并管理着图分析引擎(GAE)、 图查询引擎(GIE),图学习引擎(GLE)的生命周期。
④ Coordinator Pod 拉起后,会根据客户端传入的会话(session)参数,在当前命名空间下拉起服务端组件,包括 1) 一组运行 Etcd 的 Pod,负责图数据元信息的同步;2) 一组运行图计算引擎和 Vineyard 容器的 ReplicaSet 对象。
⑤ 最后,GraphScope Coordinator 使用 Kubernetes Service[11] 对外(客户端)暴露服务,目前支持 NodePort 和 LoadBalancer 两种模式,具体的配置细节可参考下面的参数详情。
Session 的参数
Session 可以接收一系列参数用于定制集群的配置。例如,k8s_gs_image 参数可以定义引擎 Pod 使用的镜像、timeout_seconds 参数定义创建集群的超时时间等,一些常用参数的含义、默认值如下,全部参数细节可参考文档[12]。
参数 描述 默认值
addr 用于连接已有的 GraphScope 集群,通常结合 Helm 部署方式使用 None
k8s_namespace 指定命名空间,如果存在,则在该命名空间内部署 GraphScope 实例,否则创建一个新的命名空间 None
k8s_gs_image 引擎 Pod 镜像 registry.cn-hongkong.aliyuncs.com/graphscope/graphscope:tag
k8s_image_pull_policy 拉取镜像的策略,可选项是 ‘IfNotPresent’ 和 ‘Always’ IfNotPresent
k8s_service_type 服务暴露类型,可选项是 ‘NodePort’ 和 ‘LoadBalancer’ NodePort
num_workers 引擎 Pod 数量 2
show_log 客户端是否输出日志信息 False
log_level 日志信息等级,可选项是 ‘INFO’ 和 ‘DEBUG’ ‘INFO’
timeout_seconds 创建集群的超时时间 600
在上述参数中,通常需要注意的是 k8s_service_type,你可以参考以下介绍选择适合你的服务类型:
NodePort 类型作为将外部流量导入 Kubernetes 服务最原始的方式,正如其名字所示,它会在对应 Kubernetes 节点上开放一个特定端口 (范围 30000 ~ 32767),任何发送到该端口的流量均会转发给对应的服务 (即 GraphScope 中的 Coordinator 服务),因此如果使用 NodePort 类型,请确保 Python 客户端所在的机器可与 Kubernetes 集群节点进行通信;
LoadBalancer 类型是暴露服务到 Internet 的标准方式,但是目前默认部署的 Kubernetes 集群通常不具备 LoadBalancer 的能力,你需要自己手动部署,可以参考 METALLB[13]。此外,诸如 Aliyun ACK 或 AWS EKS 等经过认证的平台通常直接提供 LoadBalancer 的能力,此时也要注意该方式下的 GraphScope 会为每一个实例请求 LoadBalancer 分配一个单独的 IP 地址,这个过程是收费的。
离线部署
基于 Kubernetes 离线部署 GraphScope 涉及两部分:服务端和客户端部分。
服务端: GraphScope 的服务端部分包含 Etcd 镜像和引擎镜像,其中引擎镜像部分默认会使用 registry.cn-hongkong.aliyuncs.com/graphscope/graphscope 中的镜像,并且每个 GraphScope 发布的版本均会包含一个镜像,例如 v0.11.0 版本对应的镜像是 registry.cn-hongkong.aliyuncs.com/graphscope/graphscope:0.11.0 ,因此若想离线部署 GraphScope,只需要满足相关 Kubernetes 节点存在对应版本的镜像即可,镜像地址如下:
引擎镜像: registry.cn-hongkong.aliyuncs.com/graphscope/graphscope:0.11.0
Etcd 镜像: quay.io/coreos/etcd:v3.4.13
具体的,你可以在有网的环境预下载对应镜像,通过 scp 等命令传到集群并载入,命令参考如下:
有网环境 下载镜像
docker pull registry.cn-hongkong.aliyuncs.com/graphscope/graphscope:0.11.0
通过 docker save 命令将镜像压缩成文件
docker save registry.cn-hongkong.aliyuncs.com/graphscope/graphscope:0.11.0 > gs0.11.0.image
传输文件到集群
scp gs0.11.0.image :</path/gs0.11.0.image>
通过 docker load 命令在集群上载入镜像
docker load < gs0.11.0.image
同样 Etcd 镜像也可以用使用该方式进行预导入。
客户端: 你可以直接通过 PYPI[14] 选择你需要 GraphScope 客户端并下载对应环境的 whl 包。下载完成后,通过如下命令安装:
pip3 install ./graphscope_client-0.11.0-cp39-cp39-manylinux_2_17_x86_64.manylinux2014_x86_64.whl
构建自定义开发镜像
上面提到,每个 GraphScope 发布的版本均会包含一个镜像,而如果你希望从源码构建一个镜像,可以使用如下命令:
$ git clone https://github.com/alibaba/GraphScope.git && cd GraphScope
$ make graphscope-image
build graphscope/graphscope:<GIT_SHORT_SHA>
此时一个使用当前代码空间 Git Commit 信息作为标签的 Docker 镜像将被构建出来。接下来便可以通过 k8s_gs_image 参数使用该镜像。
import graphscope
sess = graphscope.session(k8s_gs_image=‘graphscope/graphscope:<GIT_SHORT_SHA>’)
结语
作为一款可在云原生环境下高效地处理超大规模数据的图计算引擎,本文重点介绍了如何基于 Kubernetes 环境部署 GraphScope,同时,本文也详细介绍了 GraphScope 在 Kubernetes 上部署的背后细节,以及如何构建并运行自定义镜像。此外 GraphScope 也支持以 Helm[15] 的方式进行部署,届时可以允许客户端连接到一个已经部署好的服务,我们也会在后续的文章中详细介绍这一部分。最后真诚的欢迎大家使用 GraphScope ,并点击阅读原文反馈遇到的任何问题。
参考资料
[1]
Kind: https://kind.sigs.k8s.io/docs/
[2]
K8s 官方支持的文档: https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/
[3]
Aliyun ACK: https://www.aliyun.com/product/kubernetes
[4]
AWS EKS: https://aws.amazon.com/eks/?nc1=h_ls
[5]
其它工具: https://kubernetes.io/docs/tasks/tools/
[6]
Kubernetes 相关文档: https://kubernetes.io/docs/setup/
[7]
会话(session): https://graphscope.io/docs/reference/session.html
[8]
命名空间: https://kubernetes.io/zh/docs/concepts/overview/working-with-objects/namespaces/
[9]
服务账号: https://kubernetes.io/zh/docs/tasks/configure-pod-container/configure-service-account/
[10]
角色: https://kubernetes.io/zh/docs/reference/access-authn-authz/rbac/
[11]
Kubernetes Service: https://kubernetes.io/zh/docs/concepts/services-networking/service/
[12]
文档: https://graphscope.io/docs/reference/session.html
[13]
METALLB: https://metallb.universe.tf/
[14]
PYPI: https://pypi.org/project/graphscope-client/#files
[15]
Helm: https://helm.sh/