java mesos kubernete_Fabric8操作Kubernetes（一）

背景

机器学习平台资源管理之前使用的是Mesos+Marathon，随着业务的发展，Mesos+Marathon已经不能满足我们的需求，所以需要使用K8s取代Mesos+Marathon。Alpha管理平台需要实现对K8s集群的操作。

Alpha管理平台基于Spring Boot开发，需要集成Fabric8来实现对K8s集群的操作。本文介绍两种Fabric8操作Kubernetes集群的方法，分别是【证书访问】和【kubeconfig访问】。不多说了，直接开始动手写代码。

POM依赖

io.fabric8

kubernetes-client

4.2.0

一、证书访问

1. 配置文件

要初始化Fabric8的KubernetesClient，需要4项配置，分别是：

k8s.url：K8s集群地址

k8s.client-crt：客户端CA证书

k8s.client-key：客户端RSA私钥

k8s.ca-crt：K8s集群CA证书

当然，配置项的名称可以自行定义，这里为了图省事，我就直接使用了kubelet的证书，从下面的配置可以看到，这些证书位于classpath:k8s目录下，即/src/main/resources/k8s。

配置文件位于/src/main/resources/application.properties

# k8s 配置

k8s.url=https://10.103.18.42:6443

k8s.client-crt=classpath:k8s/apiserver-kubelet-client.crt

k8s.client-key=classpath:k8s/apiserver-kubelet-client.key

k8s.ca-crt=classpath:k8s/ca.crt

2. 自动配置

通过Spring Boot的AutoConfiguration机制自动加载相关配置。

首先定义K8sProperties内部类，并通过@ConfigurationProperties("k8s")注解，指定要绑定的配置项。

从下面的代码可以看到，我将证书和key文件绑定为Resource对象，而不是绑定为String直接获取文件路径，是因为Spring Boot发布成jar包后，无法通过路径获取classpath下的自定义文件，而通过绑定为Resource则可以直接获取到InputStream从而读取文件内容。

import lombok.Data;

import org.springframework.beans.factory.annotation.Autowired;

import org.springframework.beans.factory.annotation.Value;

import org.springframework.boot.context.properties.ConfigurationProperties;

import org.springframework.boot.context.properties.EnableConfigurationProperties;

import org.springframework.context.annotation.Bean;

import org.springframework.context.annotation.Configuration;

import org.springframework.core.io.Resource;

import java.util.Map;

@Configuration

@EnableConfigurationProperties(K8sConfig.K8sProperties.class)

public class K8sConfig {

/**

* K8s properties

*/

@Autowired

private K8sProperties k8sProperties;

@Data

@ConfigurationProperties("k8s")

public static class K8sProperties {

private String url;

// 注意用 Resource

@Value("client-crt")

private Resource clientCrt;

@Value("client-key")

private Resource clientKey;

@Value("ca-crt")

private Resource caCrt;

}

@Bean

public K8sUtils k8sUtils() {

if (k8sProperties == null) {

return null;

}

final String url = k8sProperties.getUrl();

if(StringUtils.isEmpty(url)){

return null;

}

return new K8sUtils(k8sProperties);

}

}

3. 初始化KubernetesClient

如果你发布Spring Boot项目不是使用jar包形式，建议你使用withXxxFile方法，传入文件绝对路径，让Fabric8自动读取证书和key文件。

否则建议你使用withXxxData方法，直接传入文件内容。

这里有两处需要特别注意：

读取到client-crt文件内容后，需要先用 Base64 加密，否则会提示:input null。通过简单分析Fabric8，是因为Fabric8会先将ClientCertData通过 Base64 解密。

此处需要显式地通过.withNamespace(null)将Namespace设为null，因为Fabric8在初始化Config时，会默认从环境变量从读取当前Namespace，如果你的服务也部署在K8s集群内，就会提示：kubernetesclientexception: namespace mismatch.。

@Slf4j

public class K8sUtils {

private KubernetesClient client;

private Config config;

public K8sUtils(K8sConfig.K8sProperties k8sProperties){

try {

final String k8sUrl = k8sProperties.getUrl();

log.info("k8sUrl : {}", k8sUrl);

if(k8sUrl.startsWith(HTTPS_PREFIX)) {

final String caCrtData = IOUtils.toString(k8sProperties.getCaCrt().getInputStream());

final String clientKeyData = IOUtils.toString(k8sProperties.getClientKey().getInputStream());

// 注意：此处必须先用 Base64 对证书内容加密，否则会提示 input null

final String clientCrtData = Base64.getEncoder().encodeToString(IOUtils.toByteArray(k8sProperties.getClientCrt().getInputStream()));

log.info("caCrtFile data: {} ", caCrtData);

log.info("clientKeyFile data: {} ", clientKeyData);

log.info("clientCrtFile data: {} ", clientCrtData);

config = new ConfigBuilder().withMasterUrl(k8sUrl)

.withTrustCerts(true)

.withCaCertData(caCrtData)

.withClientCertData(clientCrtData)

.withClientKeyData(clientKeyData)

// 需将 Namespace 初始化为 null

.withNamespace(null)

.build();

}else {

config = new ConfigBuilder().withMasterUrl(k8sUrl).build();

}

client = new DefaultKubernetesClient(config);

}catch (Exception e){

client = null;

log.error("初始化 K8sUtils 失败！", e);

}

}

public KubernetesClient getClient() {

return client;

}

public Config getConfig(){

return config;

}

}

二、kubeconfig访问(推荐)

但有时候因为未知原因，使用证书访问时，在初始化KubernetesClient时会提示”java.io.IOException: PEM is invalid: no begin marker “，这个问题我在网上没有查到解决方案。

这时，就可以使用kubeconfig访问K8s集群。

kubeconfig文件默认路径是/etc/kubernetes/admin.conf

通过kubeconfig与通过证书访问基本相同，只是配置和初始化过程略有差异，具体修改如下文所示：

1.配置文件

与证书访问基本相同。

# k8s 配置

k8s.admin-conf=classpath:k8s/admin.conf

2. 自动化配置

@Data

@ConfigurationProperties("k8s")

public static class K8sProperties {

private String url;

@Value("admin-conf")

private Resource adminConf;

}

3. 初始化KubernetesClient

public K8sUtils(K8sConfig.K8sProperties k8sProperties){

try {

String adminConfData = IOUtils.toString(k8sProperties.getAdminConf().getInputStream());

config = Config.fromKubeconfig(adminConfData);

client = new DefaultKubernetesClient(config);

}catch (Exception e){

client = null;

log.error("初始化 K8sUtils 失败！", e);

}

}