多集群管理kubefed
kubefed概念
1、Federate： 一系列k8s集群组成的联邦，可以部署应用到所有的k8s集群中。
2、KubeFed： 可以跨k8s集群实现服务发现，服务部署，高可用。
3、Host Cluster： 运行kubefed控制面板的k8s集群，并且暴露kubefed api服务。
4、Cluster Registration： k8s集群通过kubefedctl工具加入Host Cluster。
5、Member Cluster： 注册到kubefed的k8s集群，Host Cluster也可以是Member Cluster。
6、ServiceDNSRecord：一个或多个k8s集群中service，通过构建DNS Record进行记录。
7、IngressDNSRecord：一个或多个k8s集群中ingress，通过构建DNS Record进行记录。
8、Endpoint： 代表DNS Record。
9、DNSEndpoint： 自定义资源用于封装Endpoint。
kubefed部署
通过helm chart部署
部署kubefed后会生成crd资源FederatedTypeConfig。该资源将k8s中原生对象启动联邦资源。
kubectl get FederatedTypeConfig
NAME AGE
clusterroles.rbac.authorization.k8s.io 3h27m
configmaps 3h27m
deployments.apps 3h27m
ingresses.extensions 3h27m
jobs.batch 3h27m
namespaces 3h27m
replicasets.apps 3h27m
secrets 3h27m
serviceaccounts 3h27m
services 3h27m
kubefed卸载
首先，清理Unjoin clusters
kubefedctl unjoin cluster1 --host-cluster-context cluster --v=2 --kubefed-namespace default
kubefedctl unjoin cluster --host-cluster-context cluster --v=2 --kubefed-namespace default
然后，清理crd
kubectl --ignore-not-found=true delete FederatedTypeConfig --all
kubectl --ignore-not-found=true delete crd $(kubectl get crd | grep -E 'kubefed.io' | awk '{print $1}')
最后，执行helm delete --purge kubefed删除helm部署的kubefed。
kubefed使用
1、Cluster Registration
把k8s集群通过kubefedctl工具加入Host Cluster中，执行命令
kubefedctl join cluster1 --cluster-context cluster1 --host-cluster-context cluster --v=2 --kubeconfig=config --kubefed-namespace default
kubefedctl join cluster --cluster-context cluster --host-cluster-context cluster --v=2 --kubeconfig=config --kubefed-namespace default
2、创建联邦名字空间（federatedNamespace）
kubectl create ns test-namespace
cat > federatednamespace.yml <<EOF
> apiVersion: types.kubefed.io/v1beta1
> kind: FederatedNamespace
> metadata:
> name: test-namespace
> namespace: test-namespace
> spec:
> placement:
> clusters:
> - name: cluster
> - name: cluster1
> EOF
kubectl create -f federatednamespace.yml
会在k8s集群cluster，cluster1中都创建namespace test-namespace。
3、创建联邦资源
configmapsecretdeploymentserviceserviceaccount
例如，deployment
apiVersion: types.kubefed.io/v1beta1
kind: FederatedDeployment
metadata:
name: test-deployment
namespace: test-namespace
spec:
template:
metadata:
labels:
app: nginx
spec:
replicas: 3
selector:
matchLabels:
app: nginx
template:
metadata:
labels:
app: nginx
spec:
containers:
- image: nginx:1.17
name: nginx
placement:
clusters:
- name: cluster
- name: cluster1
overrides:
- clusterName: cluster
clusterOverrides:
- path: "/spec/replicas"
value: 5
- path: "/spec/template/spec/containers/0/image"
value: "nginx:1.14.0-alpine"
- path: "/metadata/annotations"
op: "add"
value:
foo: bar
- path: "/metadata/annotations/foo"
op: "remove"
会在cluster的k8s集群上以nginx:1.14.0-alpine作为镜像创建5个pod，在cluster1的k8s集群上以nginx:1.17为镜像创建3个pod。
KubeFed DNS for Ingress and Service
kubefed使用ExternalDNS，CoreDNS，metallb，ingress controller对联邦集群的联邦服进行务统一管理和访问。以下1-3步骤只在联邦集群的host-cluster上操作，4和5步在联邦集群下所有集群上操作，示例只在联邦集群任一个集群操作即可。
1、安装etcd集群（采用ectdoperator进行安装），安装后获取etcd的访问urlhttp://10.233.62.126.
$ kubectl get svc -n kube-system
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
etcd-cluster ClusterIP None <none> 2379/TCP,2380/TCP 85m
etcd-cluster-client ClusterIP 10.233.62.126 <none> 2379/TCP 85m
etcd-restore-operator ClusterIP 10.233.17.87 <none> 19999/TCP 85m
2、安装coredns，配置自定义域名和存储etcd访问url
在coredns的helm chart文件values.yaml加入以下配置
diff --git a/values.yaml b/values.yaml
index 964e72b..e2fa934 100644
--- a/values.yaml
+++ b/values.yaml
servers:
- zones:
@@ -51,6 +51,12 @@ servers:
parameters: 0.0.0.0:9153
- name: proxy
parameters: . /etc/resolv.conf
+ - name: etcd
+ parameters: example.org
+ configBlock: |-
+ stubzones
+ path /skydns
+ endpoint http://10.105.68.165:2379
# Complete example with all the options:
# - zones: # the `zones` block can be left out entirely, defaults to "."
3、安装externaldns，使用coredns作为provider，kubefed作为crd-source。yaml文件内容如下
$ kubectl get svc example-etcd-cluster-client -o jsonpath={.spec.clusterIP} && echo
10.102.147.224
$ cat <<EOF | kubectl create -f -
apiVersion: apps/v1
kind: Deployment
metadata:
name: external-dns
namespace: kube-system
spec:
strategy:
type: Recreate
selector:
matchLabels:
app: external-dns
template:
metadata:
labels:
app: external-dns
spec:
containers:
- name: external-dns
image: registry.opensource.zalan.do/teapot/external-dns:latest
args:
- --source=crd
- --crd-source-apiversion=multiclusterdns.kubefed.io/v1alpha1
- --crd-source-kind=DNSEndpoint
- --registry=txt
- --provider=coredns
- --log-level=debug # debug only
env:
- name: ETCD_URLS
value: http://10.102.147.224:2379
EOF
4、在联邦集群下的所有集群上部署metallb，并配置。
$ helm --kube-context cluster1 install --name metallb stable/metallb
$ helm --kube-context cluster2 install --name metallb stable/metallb
示例配置如下，根据自己环境调整。（如果不配置bgp，可以不用配置peers内容，只需要address-pools）
$ cat <<EOF | kubectl create --context cluster1 -f -
apiVersion: v1
kind: ConfigMap
metadata:
name: metallb-config
data:
config: |
peers:
- peer-address: 10.0.0.1
peer-asn: 64501
my-asn: 64500
address-pools:
- name: default
protocol: bgp
addresses:
- 192.168.20.0/24
EOF
$ cat <<EOF | kubectl create --context cluster2 -f -
apiVersion: v1
kind: ConfigMap
metadata:
name: metallb-config
data:
config: |
peers:
- peer-address: 10.0.0.2
peer-asn: 64500
my-asn: 64501
address-pools:
- name: default
protocol: bgp
addresses:
- 172.168.20.0/24
EOF
5、在联邦集群下的所有集群上部署nginx-ingress controller。
注意配置修改nginx-ingress controller helm chart的values.yaml文件中.Values.controller.publishService.enabled为true。
部署完成，运行示例进行验证。
首先，在所有集群创建test-namespace测试名字空间，不然会报错名字空间不存在。
然后在hostcluster上创建示例federatednamespace、federateddeployment、federatedservice、federateingress。
最后创建domain、serviceDnsRecord、ingressDnsRecord。集群会自动创建dnsendpoint对象（serviceDnsRecord对应一个dnsendpoint，ingressDnsRecord对应一个dnsendpoint）
检查自动创建的dnsendpoint对象是否包含dns信息。
测试发现ingressDNScontroller运行正常，ingressDnsRecord对应的dnsendpoint包含dns配置信息，并且成功记录到externaldns使用的etcd中。
serviceDNScontroller运行不成功，serviceDnsRecord对应的dnsendpoint只有空信息。
github有相同问题https://github.com/kubernetes-sigs/kubefed/issues/872和https://github.com/kubernetes-sigs/kubefed/issues/834。
https://github.com/kubernetes-sigs/kubefed/issues/464
扫一扫
464
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
