私有云中Kubernetes Cluster HA方案

最新推荐文章于 2024-05-27 16:38:25 发布
置顶 最新推荐文章于 2024-05-27 16:38:25 发布
阅读量9.6k 收藏 4
点赞数
分类专栏： kubernetes 文章标签： Kubernetes HA
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/WaltonWang/article/details/78347942
版权

摘要：发现很多Kubernetes刚入门的同学对Kubernetes的Master高可用方案很感兴趣，官方又只给出了GCE上部署高可用的方案，因此我觉得有必要把我之前做的Kubernetes Master HA方案分享一下。

Kubernetes Master HA架构图

输入图片说明

配置与说明

  1. 所有组件可以通过kubelet static pod的方式启动和管理，由kubelet static pod机制保证宿主机上各个组件的高可用, 注意kubelet要添加配置--allow-privileged=true;
  2. 管理static pod的kubelet的高可用通过systemd来负责；
  3. 当然，你也可以直接通过进程来部署这些组件，systemd来直接管理这些进程；（我们选择的是这种方式，降低复杂度。）
  4. 上图中，etcd和Master部署在一起，三个Master节点分别部署了三个etcd，这三个etcd组成一个集群；（当然，如果条件允许，建议将etcd集群和Master节点分开部署。）
  5. 每个Master中的apiserver、controller-manager、scheduler都使用hostNetwork, controller-manager和scheduler通过localhost连接到本节点的apiserver，而不会和其他两个Master节点的apiserver连接；
  6. 外部的rest-client、kubectl、kubelet、kube-proxy等都通过TLS证书，在LB节点做TLS Termination，LB出来就是http请求发到经过LB策略（RR）到对应的apiserver instance；
  7. apiserver到kubelet server和kube-proxy server的访问也类似，Https到LB这里做TLS Termination，然后http请求出来到对应node的kubelet/kube-proxy server；
  8. apiserver的HA通过经典的haproxy + keepalived来保证，集群对外暴露VIP；
  9. controller-manager和scheduler的HA通过自身提供的leader选举功能（–leader-elect=true），使得3个controller-manager和scheduler都分别只有一个是leader，leader处于正常工作状态，当leader失败，会重新选举新leader来顶替继续工作；
  10. 因此，该HA方案中，通过haproxy+keepalived来做apiserver的LB和HA，controller-manager和scheduler通过自身的leader选举来达到HA，etcd通过raft协议保证etcd cluster数据的一致性，达到HA；

  11. keepalived的配置可参考如下：

    vrrp_script check_script {
 script  "/etc/keepalived/check_haproxy.py  http://caicloud:caicloud@127.0.0.1/haproxy?stats"
 interval 5 # check every 5 seconds
 weight 5
 fall 2 # require 2 fail for KO
 rise 1 # require 1 successes for OK
}

vrrp_instance VI_01 {
    state MASTER (BACKUP)
    interface eth1
    track_interface {
        eth1
    }


    vrrp_garp_master_repeat 5
    vrrp_garp_master_refresh 10

    virtual_router_id 51
    priority 100 (97)

    advert_int 1

    authentication {
        auth_type PASS
        auth_pass username
    }

    virtual_ipaddress {
        192.168.205.254 dev eth1 label eth1:vip
    }

    track_script {
        check_script
    }

    notify "etc/keepalived/notify_state.sh"
}

  12. haproxy的配置可参考如下：

    global
    log 127.0.0.1 local0
    maxconn 32768
    pidfile /run/haproxy.pid
    # turn on stats unix socket
    stats socket /run/haproxy.stats
    tune.ssl.default-dh-param  2048

default 
    log global
    mode http
    option httplog
    option dontlognull
    retries 3
    timeout connect 5000ms
    timeout client 50000ms
    timeout server 50000ms
    timeout check 50000ms
    timeout queue 50000ms

frontend frontend-apisver-http
    bind *:8080
    option forwardfor

    acl local_net src 192.168.205.0/24

    http-request allow if local_net
    http-request deny

    default_backend backend-apiserver-http

frontedn frontend-apiserver-https
    # haproxy enable ssl
    bind *:443 ssl crt /etc/kubernetes/master-lb.pem
    option forwardfor
    default_backend backend-apiserver-http

backend backend-apiserver-http
    balance roundrobin
    option forward-for

    server master-1 192.168.205.11:8080  check
    server master-2 192.168.205.12:8080  check
    server master-3 192.168.205.13:8080  check

listen  admin_stats
       bind  0.0.0.0:80
       log  global
       mode  http
       maxconn  10
       stats  enable
       #Hide  HAPRoxy version, a necessity for any public-facing site
       stats  hide-version
       stats  refresh 30s
       stats  show-node
       stats  realm Haproxy\ Statistics
       stats  auth caicloud:caicloud
       stats  uri /haproxy?stats

  13. LB所在的节点，注意确保ip_vs model已加载、ip_forward和ip_nonlocal_bind已开启；

    
# make sure ip_vs kernel model is loaded

modprobe ip_vs
modprobe ip_vs_rr
modprobe ip_vs_wrr


# enable ip_forward and ip_nonlocal_bind

echo "net.ipv4.ip_forward = 1" >> /etc/sysctl.conf
echo "net.ipv4.ip_nonlocal_bind = 1" >> /etc/sysctl.conf

  14. 如果你通过pod来部署K8S的组件，可参考官方给出的Yaml：

    • apiserver
    apiVersion: v1
kind: Pod
metadata:
  name: kube-apiserver
spec:
  hostNetwork: true
  containers:
  - name: kube-apiserver
    image: gcr.io/google_containers/kube-apiserver:9680e782e08a1a1c94c656190011bd02
    command:
    - /bin/sh
    - -c
    - /usr/local/bin/kube-apiserver --address=127.0.0.1 --etcd-servers=http://127.0.0.1:4001
      --cloud-provider=gce   --admission-control=NamespaceLifecycle,LimitRanger,SecurityContextDeny,ServiceAccount,ResourceQuota
      --service-cluster-ip-range=10.0.0.0/16 --client-ca-file=/srv/kubernetes/ca.crt
      --basic-auth-file=/srv/kubernetes/basic_auth.csv --cluster-name=e2e-test-bburns
      --tls-cert-file=/srv/kubernetes/server.cert --tls-private-key-file=/srv/kubernetes/server.key
      --secure-port=443 --token-auth-file=/srv/kubernetes/known_tokens.csv  --v=2
      --allow-privileged=False 1>>/var/log/kube-apiserver.log 2>&1
    ports:
    - containerPort: 443
      hostPort: 443
      name: https
    - containerPort: 7080
      hostPort: 7080
      name: http
    - containerPort: 8080
      hostPort: 8080
      name: local
    volumeMounts:
    - mountPath: /srv/kubernetes
      name: srvkube
      readOnly: true
    - mountPath: /var/log/kube-apiserver.log
      name: logfile
    - mountPath: /etc/ssl
      name: etcssl
      readOnly: true
    - mountPath: /usr/share/ssl
      name: usrsharessl
      readOnly: true
    - mountPath: /var/ssl
      name: varssl
      readOnly: true
    - mountPath: /usr/ssl
      name: usrssl
      readOnly: true
    - mountPath: /usr/lib/ssl
      name: usrlibssl
      readOnly: true
    - mountPath: /usr/local/openssl
      name: usrlocalopenssl
      readOnly: true
    - mountPath: /etc/openssl
      name: etcopenssl
      readOnly: true
    - mountPath: /etc/pki/tls
      name: etcpkitls
      readOnly: true
  volumes:
  - hostPath:
      path: /srv/kubernetes
    name: srvkube
  - hostPath:
      path: /var/log/kube-apiserver.log
    name: logfile
  - hostPath:
      path: /etc/ssl
    name: etcssl
  - hostPath:
      path: /usr/share/ssl
    name: usrsharessl
  - hostPath:
      path: /var/ssl
    name: varssl
  - hostPath:
      path: /usr/ssl
    name: usrssl
  - hostPath:
      path: /usr/lib/ssl
    name: usrlibssl
  - hostPath:
      path: /usr/local/openssl
    name: usrlocalopenssl
  - hostPath:
      path: /etc/openssl
    name: etcopenssl
  - hostPath:
      path: /etc/pki/tls
    name: etcpkitls
    • controller-manager
    apiVersion: v1
kind: Pod
metadata:
  name: kube-controller-manager
spec:
  containers:
  - command:
    - /bin/sh
    - -c
    - /usr/local/bin/kube-controller-manager --master=127.0.0.1:8080 --cluster-name=e2e-test-bburns
      --cluster-cidr=10.245.0.0/16 --allocate-node-cidrs=true --cloud-provider=gce  --service-account-private-key-file=/srv/kubernetes/server.key
      --v=2 --leader-elect=true 1>>/var/log/kube-controller-manager.log 2>&1
    image: gcr.io/google_containers/kube-controller-manager:fda24638d51a48baa13c35337fcd4793
    livenessProbe:
      httpGet:
        path: /healthz
        port: 10252
      initialDelaySeconds: 15
      timeoutSeconds: 1
    name: kube-controller-manager
    volumeMounts:
    - mountPath: /srv/kubernetes
      name: srvkube
      readOnly: true
    - mountPath: /var/log/kube-controller-manager.log
      name: logfile
    - mountPath: /etc/ssl
      name: etcssl
      readOnly: true
    - mountPath: /usr/share/ssl
      name: usrsharessl
      readOnly: true
    - mountPath: /var/ssl
      name: varssl
      readOnly: true
    - mountPath: /usr/ssl
      name: usrssl
      readOnly: true
    - mountPath: /usr/lib/ssl
      name: usrlibssl
      readOnly: true
    - mountPath: /usr/local/openssl
      name: usrlocalopenssl
      readOnly: true
    - mountPath: /etc/openssl
      name: etcopenssl
      readOnly: true
    - mountPath: /etc/pki/tls
      name: etcpkitls
      readOnly: true
  hostNetwork: true
  volumes:
  - hostPath:
      path: /srv/kubernetes
    name: srvkube
  - hostPath:
      path: /var/log/kube-controller-manager.log
    name: logfile
  - hostPath:
      path: /etc/ssl
    name: etcssl
  - hostPath:
      path: /usr/share/ssl
    name: usrsharessl
  - hostPath:
      path: /var/ssl
    name: varssl
  - hostPath:
      path: /usr/ssl
    name: usrssl
  - hostPath:
      path: /usr/lib/ssl
    name: usrlibssl
  - hostPath:
      path: /usr/local/openssl
    name: usrlocalopenssl
  - hostPath:
      path: /etc/openssl
    name: etcopenssl
  - hostPath:
      path: /etc/pki/tls
    name: etcpkitls
    • scheduler
    apiVersion: v1
kind: Pod
metadata:
  name: kube-scheduler
spec:
  hostNetwork: true
  containers:
  - name: kube-scheduler
    image: gcr.io/google_containers/kube-scheduler:34d0b8f8b31e27937327961528739bc9
    command:
    - /bin/sh
    - -c
    - /usr/local/bin/kube-scheduler --master=127.0.0.1:8080 --v=2 --leader-elect=true 1>>/var/log/kube-scheduler.log
      2>&1
    livenessProbe:
      httpGet:
        path: /healthz
        port: 10251
      initialDelaySeconds: 15
      timeoutSeconds: 1
    volumeMounts:
    - mountPath: /var/log/kube-scheduler.log
      name: logfile
    - mountPath: /var/run/secrets/kubernetes.io/serviceaccount
      name: default-token-s8ejd
      readOnly: true
  volumes:
  - hostPath:
      path: /var/log/kube-scheduler.log
    name: logfile
    • etcd
    apiVersion: v1
kind: Pod
metadata:
  name: etcd-server
spec:
  hostNetwork: true
  containers:
  - image: gcr.io/google_containers/etcd:2.0.9
    name: etcd-container
    command:
    - /usr/local/bin/etcd
    - --name
    - ${NODE_NAME}
    - --initial-advertise-peer-urls
    - http://${NODE_IP}:2380
    - --listen-peer-urls
    - http://${NODE_IP}:2380
    - --advertise-client-urls
    - http://${NODE_IP}:4001
    - --listen-client-urls
    - http://127.0.0.1:4001
    - --data-dir
    - /var/etcd/data
    - --discovery
    - ${DISCOVERY_TOKEN}
    ports:
    - containerPort: 2380
      hostPort: 2380
      name: serverport
    - containerPort: 4001
      hostPort: 4001
      name: clientport
    volumeMounts:
    - mountPath: /var/etcd
      name: varetcd
    - mountPath: /etc/ssl
      name: etcssl
      readOnly: true
    - mountPath: /usr/share/ssl
      name: usrsharessl
      readOnly: true
    - mountPath: /var/ssl
      name: varssl
      readOnly: true
    - mountPath: /usr/ssl
      name: usrssl
      readOnly: true
    - mountPath: /usr/lib/ssl
      name: usrlibssl
      readOnly: true
    - mountPath: /usr/local/openssl
      name: usrlocalopenssl
      readOnly: true
    - mountPath: /etc/openssl
      name: etcopenssl
      readOnly: true
    - mountPath: /etc/pki/tls
      name: etcpkitls
      readOnly: true
  volumes:
  - hostPath:
      path: /var/etcd/data
    name: varetcd
  - hostPath:
      path: /etc/ssl
    name: etcssl
  - hostPath:
      path: /usr/share/ssl
    name: usrsharessl
  - hostPath:
      path: /var/ssl
    name: varssl
  - hostPath:
      path: /usr/ssl
    name: usrssl
  - hostPath:
      path: /usr/lib/ssl
    name: usrlibssl
  - hostPath:
      path: /usr/local/openssl
    name: usrlocalopenssl
  - hostPath:
      path: /etc/openssl
    name: etcopenssl
  - hostPath:
      path: /etc/pki/tls
    name: etcpkitls
WaltonWang
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
利用Kubernetes中的leaderelection实现组件高可用
学点程序
02-15 830
在Kubernetes中，通常kube-schduler和kube-controller-manager都是多副本进行部署的来保证高可用，而真正在工作的实例其实只有一个。这里就利用到 leaderelection的选主机制，保证leader是处于工作状态，并且在leader挂掉之后，从其他节点选取新的leader保证组件正常工作。 不单单只是k8s中的这两个组件用到，在其他服务中也可以看到这个包...
kubeadm快速部署kubernetes(HA)
VF@CSDN
11-13 5983
当前版本的kubeadm原生并不支持部署HA模式集群，但是实际上可以使用kubeadm部署后，再进行少量手动修改，即可实现HA模式的kubernetes集群。本次部署基于Ubuntu16.04，并使用最新的docker版本：17.06，kubernetes适用1.7.x版本，本文采用1.7.6。 1 环境准备 准备了六台机器作安装测试工作，机器信息如下: IP Name
k8s kubernetes 高可用https and http集群实战 HA
热门推荐
小刚的博客
05-09 1万+
kubernetes https http高可用集群布署
Kubernetes可视化界面之DashBoard
最新发布
weixin_72583321的博客
05-27 1140
Kubernetes Dashboard 是 Kubernetes 社区提供的一个基于网页的用户界面，它允许用户通过图形界面管理 Kubernetes 集群中的资源。Dashboard 提供了一种直观易用的方式来部署和管理容器应用，同时也能对应用进行故障排除和集群资源管理。通过 Dashboard，用户可以获取集群中应用的概览信息，创建或修改 Kubernetes 资源（如 Deployment、Job、DaemonSet 等），并对 Deployment 进行弹性伸缩、滚动升级、重启 Pod 等操作。此外
采购私有云Kubernetes平台应该问供应商的问题
openeis的专栏
08-08 111
选择Kubernetes平台不是一件容易的事情，当前Kubernetes任然发布三次，技术更新还是很快。 在采购 商业Kubernetes平台时，应该向Kubernetes平台供应商问清楚如下问题： 1、Kubernetes的版本。 Kubernetes发布非常频繁，所以Kubernetes版本非常重要。您肯定也不希望买一个古董。 此外，如果如果您的组织需要支持双栈网络，那肯定需要非常新的kubernetes版本。 2、Kubernetes容器运行环境 总所周知的原因，dockershim要在k
IBM 发布基于 Kubernetes 的 IBM 私有云平台
敬诚为之
07-17 759
我们很高兴发布最新的 IBM 私有云平台，让客户可以在内部可信数据中心内交付和运行弹性的工作负载。   IBM 专注于云平台及运行与云上认知解决方案。由于企业通过创新技术吸引客户的方式在迅速的完善，并且推动了数字化的快速进程，让我们的许多企业客户都经历快速变化。   我们最近宣布了支持在 IBM 云上运行 Kubernetes。如今， 您可以在 VMWare vSphe
基于Kubernetes的KubeIaaS私有IaaS云解决方案设计源码
05-23
KubeIaaS是一个基于Kubernetes开发的私有IaaS云解决方案，包含292个文件，其中包括197个Java源文件、19个PNG图片文件、18个YAML文件、14个XML文件、12个Shell脚本文件、8个Markdown文件、6个Properties文件、2个GZ...
基于Kubernetes的私有容器云建设
02-25
在Docker技术流行开来之前，保证...我们在认真调研了Docker技术后，决定构建自己的私有容器云，背景和目标如下：实现运维自动化是我们立项之初最主要的目标，而它又是实现后面目标的基础。这个因素直接决定了我们的技术
360私有云kubernetes实践
10-20
私有云实践、kubernetes实践、360私有云kubernetes实践
VMware私有云建设方案.docx
03-14
VMware私有云建设方案是针对政企行业提供的一种高效、安全、可扩展的云计算解决方案。该方案旨在利用VMware的技术优势，构建一个灵活、可靠的私有云平台，以满足企业在数字化转型过程中对IT资源的需求。 1.1 项目...
基于Kubernetes的容器私有云平台实践PDF文档+架构视频下载.rar
07-26
基于Kubernetes的容器私有云平台实践PDF文档+架构视频下载
kubernetes网络方案部署
03-14
这个文档是关于kubernetes的网络部分的介绍,希望对喜欢kubernetes的人员做参考.
部署Kubernetes Cluster
cbmljs的博客
06-10 1776
环境设置 设置三台机器的主机名：　　 Master上执行： hostnamectl --static set-hostname k8s-master Node1上执行： hostnamectl --static set-hostname k8s-node1 Node2上执行： hostnamectl --static set-hostname k8s-node2 在三台机器上设置hos...
使用Kubernetes和Docker进行简单的leader选举
weixin_34138139的博客
09-27 283
本文讲的是使用Kubernetes和Docker进行简单的leader选举，【编者的话】Kubernetes简化了运行在集群中的服务部署和运维管理，然而，它也简化了这些管理工作的部署。本篇文章将会展示如何在分布式应用系统中使用Kubernetes来简单地运行leader选举。 概述 为了可靠性和伸缩性，分布式系统通常会复制多个服务任务，但往往有必要...
BizCloud：基于Kubernetes的私有云实践
Docker的专栏
10-09 1762
随着搜狗业务的快速增长，需要更有效地控制成本，提升研发效率，我们基于Docker和Kubernetes构建了一站式私有云管理平台——BizCloud，此平台涵盖服务管理、弹性伸缩、灰度发布、自动运维、持续集成等功能。本文将简要介绍BizCloud的设计思路、架构及服务发现、授权、灰度发布等核心功能的实现。 BizCloud简介 我们基础环境非常复杂，目前有多个版本操作系统共
Kubernetes安装之一：HA-高可用配置
weixin_34414650的博客
02-13 438
Kubernetes 一直没有自己的高可用方案，从yum安装1.5.2开始到使用阿里云自带的Kubernetes集群，一直没有自己手动安装配置过这个高可用方案，在过年前终于自己安装配置了一次，也是参考各路大神的文章，现在年过完了，准备把安装过程记录下来，我的安装会比较特殊，仅供各位参考：1. 192.168.1.40 简写服务器a etcd master ...
【kubernetes/k8s概念】kube-proxy启动参数
zhonglinzhang
01-08 9019
kubernetes 1.12.1版本 Desc The Kubernetes network proxy runs on each node. This reflects services as defined in the Kubernetes API on each node and can do simpleTCP, UDP, and SCTP stream fo...
私有云项目方案.pdf
07-14
"私有云项目方案.pdf" 私有云项目方案主要针对澳洋科技的信息系统，旨在通过构建云计算中心来降低硬件设备的运行风险和管理难度，减少硬件与应用系统的耦合。项目的核心目标是建立一个弹性、高效且具备高可用性的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值