如何在GO语言中使用Kubernetes API?

Rancher Labs首席软件工程师Alena Prokharchyk受邀在2017年12月6-8日的CNCF主办的Kubernetes领域顶级盛会KubeCon + CloudNativeCon 2017北美峰会上进行演讲,本文由演讲内容整理而成。


随着Kubernetes越来越受欢迎,围绕它的集成和监控服务的数量也在不断增长。Golang编写的所有此类服务的关键组件是kubernetes / client-go——一个用于与Kubernetes集群API通信的软件包。在本文中,我们将讨论client-go使用的基本知识,以及如何为开发人员节约编写实际应用程序逻辑所需的时间。我们还将展示使用该软件包的最佳实践,并从每天与Kubernetes进行集成工作的开发人员的角度,分享我们已有的经验。内容将包括:

  • 集群中的客户端认证 vs. 集群外的客户端认证
  • 基本列表,使用client-go去创建和删除Kubernetes对象的操作
  • 如何使用ListWatch和Informers监视K8s事件并做出反应
  • 如何管理软件包依赖

Kubernetes是一个平台

Kubernetes有很多受欢迎的地方。用户喜欢它的丰富功能、稳定性和性能。对贡献者来说,Kubernetes开源社区不仅规模庞大,还易于上手、反馈迅速。而真正让Kubernetes吸引了第三方开发者的是它的可扩展性。该项目提供了很多方式来添加新功能、扩展现有功能而且不会中断主代码库。正是这些,使得Kubernetes发展成为了一个平台。
这里有一些方式来扩展Kubernetes:

图片描述

上图所示,你可以发现每个Kubernetes集群组件无论是Kubelet还是API服务器,都可以以某种方式进行扩展。今天我们将重点介绍一种“自定义控制器”的方式,从现在起我将它称为Kubernetes控制器(Kubernetes Controller),或者简单地称为控制器(Controller)。

Kubernetes控制器究竟是什么?

控制器最常见的定义是:使得系统的当前状态达到所期望的状态的代码。但这究竟是什么意思呢?我们以Ingress控制器为例。Ingress是一个Kubernetes资源,它能够对集群中服务的外部访问进行定义。通常采用HTTP并且有负载均衡支持。然而Kubernetes的核心代码中并没有ingress的实现。第三方控制器的实现将包含:
1.监控ingress/services/endpoint 资源的事件(创建、更新、删除)
2.程序内部或外部的负载均衡器
3.使用负载均衡器的地址来更新Ingress
“所期望的状态”在Ingress这里指的是IP地址指向运行着的负载均衡器,该均衡器由用户根据ingress规范定义的规则实现。并且由外部Ingress控制器负责将ingress资源转移到这一状态。
对相同的资源,控制器的实现以及部署他们的方式也可能会有所不同。你可以选择nginx控制器并将其部署到集群中的每个节点上作为守护进程集(Daemon Set),也可以选择在Kubernetes集群外部运行ingress控制器并且对F5编程作为负载均衡器。这里没有严格的规定,Kubernetes就是如此灵活。

Client-go

这里有几种获得Kubernetes集群及其资源相关信息的方法,你可以使用Dashboard、kubectl或者使用对Kubernetes API的编程式访问来实现。Client-go所有用Go语言编写的工具中使用最为广泛的库,还有许多其他语言的版本(java、python等)。如果你还没自己写过控制器,我推荐你首先去尝试go/client-go。Kubernetes是用Go编写的,而且我发现使用和主项目相同的语言来开发插件会更加方便。

我们来搭建吧…

要熟悉相关的平台和工具,最好的办法就是去实践,去实现一些东西。我们从简单入手,先实现一个如下的控制器:
1.监控Kubernetes节点
2.当节点上的镜像占用存储空间时进行警报,并且可以更改
这部分的实现,源码可以在这里找到:https://github.com/alena1108/kubecon2017

基本流程

配置项目

作为一名开发者,我和Rancher Labs的同事们更愿意使用轻便简易的工具,在这里我将分享3个我最喜欢的工具,它们将帮助我们完成第一个项目。
1.go-skel – Go语言的微服务skeleton,只需执行run ./skel.sh test123即可,它会为新的go项目test123创建skeleton。
2.trash – Go语言的供应商管理工具。实际上这儿有很多依赖项管理工具,但是在临时依赖项管理方面,trash使用起来非常出色,而且简单。
3.dapper – 在一致性环境中对任何现有构建工具进行封装的一种工具

添加client-go作为一个依赖项

为了方便使用client-go的代码,我们必须要将其设置为项目的依赖项。将它添加到vendor.conf文件中:

图片描述

接着运行trash。它会将vendor.conf中定义的所有依赖项都拉到项目的vendor文件夹中。在这里需要确保client-go与你集群对应的Kubernetes版本是兼容的。

创建一个客户端

在创建与Kubernetes API通信的客户端之前,我们必须要先决定如何运行我们的工具:是在Kubetnetes集群内部还是外部。当应用程序在集群内部运行时,对它进行容器化,部署成为Kubernetes pod。它还提供了一些额外的功能:你可以选择部署它的方式(Deamon set运行在每个节点上,或者作为n个副本的部署),配置针对它的健康检查等等。当应用程序在集群外部运行时,就需要自己来管理它。下面的配置可以让我们的工具变得更灵活,并且支持基于config flag定义客户端的两种方式:

图片描述

我们将在调试应用程序时使用集群外部运行的方式,这样你不需要每次都构建镜像并且将其重新部署成Kubernetes pod。在测试好应用程序后,我们就可以构建镜像并将其部署到集群中。
正如在截图中看到的那样,正在构建配置,并将其传递到kubernetes.NewForConfig来生成客户端。

使用基本的CRUDs

我们的工具需要监控节点。在实现逻辑流程之前,我们先来熟悉使用client-go执行CRUD操作:

图片描述

上面的截图展示了:
1.List节点minikube,是经过FieldSelector过滤器实现的
2.用新的标注来更新节点
3.使用gracePerios=10秒指令删除节点—意思是从该命令执行后10秒才会执行删除操作
上面所有的步骤都是使用我们之前创建的用户集(clientset)进行的。
我们还需要节点上镜像的相关信息;它可以通过访问相应的字段来检索:

图片描述

使用Informer来进行监控/通知

现在我们知道了如何从Kubernetes APIs中获取节点并从中得到镜像信息。那么我们该如何监控镜像大小的变化呢?最简单的方法是周期性轮询节点,计算当前的镜像存储容量,并将其和先前轮询的结果比较。这里的不足之处在于:无论节点是否发生变化,我们执行的列表调用都会获取所有的节点,这可能会很费资源——特别是当轮询间隔很短的时候。而我们真正想要实现的是—在节点发生变化时得到通知,只有在这之后才执行我们的逻辑流程。这些就是client-go的Informer来做的。

图片描述

在这个例子中,我们经过watchList指令为节点对象创建Informer来监控节点,设置对象类型为api.Node和30秒的同步周期来周期性地轮询节点,无论节点是否发生改变——这种方式在更新事件出于某种原因发生终止时可以很好的进行撤回。在最后一个参数,我们传递了2个回调函数——handleNodeAdd和handleNodeUpdate。这些回调函数具有实际的逻辑,并且在节点上的镜像占用存储发生改变时触发。NewInformer返回2个对象——controller和store。一旦controller启动,将会开始对node.update和node.add的监控,并且调用回调函数。这部分代码的存储区位于内存缓存中,由informer负责更新,另外你可以在缓存区中获取节点对象而不用直接调用Kubernetes APIs:

图片描述

我们的项目中只有一个控制器,使用常规的Informer就足够了。不过,如果未来你的项目最终同一个对象拥有了多个控制器,我建议你使用SharedInformer。这样一来你不用再一个一个为每个控制器配上Informer,只需要注册一个Shared informer即可,并且让每个控制器注册自己的一组回调函数,返回共享缓存,这可以减少内存占用:

图片描述

部署时间

是时候来部署和测试代码了!对于第一次运行,我们只需要创建一个go的二进制文件并且在集群外模式下运行它即可:

图片描述

如要更改消息输出,那么使用镜像部署一个pod,该镜像是没有在当前节点显示的镜像。
在基本的功能通过测试之后,接下来就是按照集群模式尝试运行它了。为此我们必须先创建镜像,定义它的Dockerfile:

图片描述

并使用docker build创建一个镜像,该命令将生成一个可用在Kubernetes中部署pod的镜像。现在你的应用程序可以作为一个pod运行在Kubernetes集群上了。这里是一个部署定义的例子,在之前的截图中,我使用了该例部署我们的应用程序:

图片描述

在本文中我们做了如下工作:
1.创建go项目
2.为项目添加client-go包的依赖项
3.创建用于和Kubernetes api通信的客户端
4.定义一个用于监控节点对象改变,并且一旦发生就执行回调函数的Informer
5.在回调函数中实现一个实际的逻辑
6.在集群外运行二进制文件来测试代码,并把它部署到集群中

推荐阅读

http://mp.weixin.qq.com/s/4-cFeRsa0J4tr6GE91Grag
http://mp.weixin.qq.com/s/2qZHVM-JrJ4kaKt4qBhq5w
http://mp.weixin.qq.com/s/prP9pFTXG6EHoDGoh_nyEA
http://mp.weixin.qq.com/s/FJ2D34ewH_bL8kSM-eUE1g

如若转载,请注明出处谢谢!
微信号:RancherLabs

阅读更多
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭