一、部署原理
基于vagrant和virtualbox，通过kubespray项目，控制ansible，部署高可用的k8s集群。
二、部署环境
1.部署拓扑
2.部署软硬件
硬件：
物理机 CPU：Double CPU，14 core，2 threads per core，CPU Intel(R) Xeon(R) Gold 5120 CPU @ 2.20GHz
内存：64G
软件：
CentOS 7:kernel 3.10.0-327.22.2.el7.x86_64
vagrant:vagrant_2.1.0_x86_64.rpm
virtualbox:5.2
kubespray:master branch
ansible:2.5.2
k8s:1.9.5
三、部署步骤
1.安装vargrant
1）找到对应系统的包，并安装
sudo curl https://releases.hashicorp.com/vagrant/2.1.0/vagrant_2.1.0_x86_64.rpm -o vagrant_2.1.0_x86_64.rpm --progress
sudo rpm -ivh vagrant_2.1.0_x86_64.rpm
2）provider采用virtualbox
安装virtualbox的依赖
cd /etc/yum.repos.d/ wget http://download.virtualbox.org/virtualbox/rpm/rhel/virtualbox.repo
yum install VirtualBox-5.2
sudo /sbin/rcvboxdrv setup
2.git ansible部署代码
sudo git clone https://github.com/kubernetes-sigs/kubespray.git
3.利用vagrant代码生成虚拟机
在Vargrantfile的同级目录，运行
sudo vagrant up //启动环境
4.通过pip安装ansible等必须工具
sudo pip install ansible netaddr Jinja2
5.通过ansible代码部署k8s
sudo ansible-playbook -vv -i inventory/mycluster/hosts.ini cluster.yml --become //部署k8s
-vv 详细打印日志
-i 插入主机配置
--become 让执行线程具有特殊权限，因为过程中很多地方都会用到特殊权限
如果加sudo，又没有在host.ini中指定ssh登陆方式，则用root的用户名和私钥进行登陆，私钥名称必须是id_rsa；
如果不加sudo，又没有在host.ini中指定ssh登陆方式，则用当前用户名和私钥进行登陆，私钥名称必须是id_rsa；
如果不加sudo，在host.ini中指定ssh登陆方式及私钥存储位置，则以指定的用户名和私钥进行登陆；
6.验证成功部署
#登陆虚拟机
sudo vagrant ssh node2
注意：
1.virtualbox只能启动一次，若在执行vagrant的过程中Ctrl+C终止，则VirtualBox并没有终止，则再次运行VirtBox的时候，将导致无法创建VirtualBox
的hostonly模式网卡
此时应该重启VirtualBox即可
四、ansible-playbook自动化部署分析
部署过程中，ansible需要完成以下role中的task，顺序基本如下，过程中会有task会复用：
0.playbook初始化
启动playbook，为playbook静态导入相关配置，从cluster.yml开始编排部署；
1.download
执行downlaod role，下载必要的软件；
2.kubespray-default
执行kubespray-default role，对kubespray的main.yml进行检查，以及在kubespray运行过程中，进行一些默认配置；
3.bastion-ssh-config
执行bastion-ssh-config role，配置bastion-ssh；
4.bootstrap-os
执行bootstrap-os role，以确认操作系统类型（如CentOS、Ubuntu、CoreOS等）、检查安装包要求、分配inventory中的名字到未配置主机名的主机等；
5.adduser
执行adduser role，在每个node上并行添加用户kube，用户id：997，所属组id： 995，家目录：/home/kube，shell：/sbin/nologin
adduser : User | Create User
6.kubernetes
执行kubernetes role，其又嵌套多个子任务：
其中，
1）client
完成Set external kube-apiserver endpoint、Gather certs for admin kubeconfig等
2）kubeadm
利用官方集群部署工具；
3）master
完成master的部署。
4）node
完成node的部署。
5）preinstall
preinstall：安装kubernetes之前先对各项部署需求进行检查：
ansible版本不能太低、操作系统类型不支持、网络插件不支持、不兼容的网络插件和cloud provider、布尔值被设置成字符串、master主存太小、etcd主机数量为偶数、当dashboard开启时，RBAC没有开启、当inscure端口禁止，如果RBAC和匿名认证没有开启、kernel版本不能太低、老credential目录存在，新credential目录存在，将老credential目录的数据剪切到新credential目录、CoreOS强制容器使用二进制目录、二进制目录存在与否、检查是否atmoic host、set_fact、检查resolveconf、检测kubelet是否配置、检查是否早期DNS配置阶段、定位resolv.conf、定位temporary resolvconf cloud init file、检查/etc/dhclient.conf是否存在等。
6）secret
主要完成授权与认证，与CA相关。
7.docker
执行docker role，完成docker的配置与安装，具体包括docker存储的安装与配置等；
8.rkt
执行rkt role ，包括 gather os specific variables for rkt、rkt : install rkt pkg；
9.vault
执行vault role，完成kubernetes的secret管理；
10.etcd
执行etcd role，对etcd进行配置、安装、运行；
11.kubernetes-apps
运行kubernetes-apps role，主要对kubernetes的app进行管理，包括helm、kpm、policy_controller等。
12.network_plugin
运行network_plugin role，主要对几种网络方式进行配置和运行，包括flanneld、canal、weave等；
13.dnsmasq
运行dnsmasq role，完成dnsmasq的配置、运行等；
具体流程见附件。
五、附加信息
1.支持的Linux发行版本
- Container Linux by CoreOS
- Debian Jessie, Stretch, Wheezy
- Ubuntu 16.04
- CentOS/RHEL 7
- Fedora/CentOS Atomic
- openSUSE Leap 42.3/Tumbleweed
Note: Upstart/SysV init based OS types are not supported.
2.支持的组件版本
- kubernetes v1.9.5
- etcd v3.2.4
- flanneld v0.10.0
- calico v2.6.8
- canal (given calico/flannel versions)
- cilium v1.0.0-rc8
- contiv v1.1.7
- weave v2.3.0
- docker v17.03 (see note)
- rkt v1.21.0 (see Note 2)
Note: kubernetes doesn't support newer docker versions. Among other things kubelet currently breaks on docker's non-standard version numbering (it no longer uses semantic versioning). To ensure auto-updates don't break your cluster look into e.g. yum versionlock plugin or apt pin).
Note 2: rkt support as docker alternative is limited to control plane (etcd and kubelet). Docker is still used for Kubernetes cluster workloads and network plugins' related OS services. Also note, only one of the supported network plugins can be deployed for a given single cluster.
3.要求
- Ansible v2.4 (or newer) and python-netaddr is installed on the machine that will run Ansible commands
- Jinja 2.9 (or newer) is required to run the Ansible Playbooks
- The target servers must have access to the Internet in order to pull docker images.
- The target servers are configured to allow IPv4 forwarding.
- Your ssh key must be copied to all the servers part of your inventory.
- The firewalls are not managed, you'll need to implement your own rules the way you used to. in order to avoid any issue during deployment you should disable your firewall.
- If kubespray is ran from non-root user account, correct privilege escalation method should be configured in the target servers. Then the ansible_become flag or command parameters --become or -b should be specified.
4.网络插件
You can choose between 6 network plugins. (default: calico, except Vagrant uses flannel)
- flannel: gre/vxlan (layer 2) networking.
- calico: bgp (layer 3) networking.
- canal: a composition of calico and flannel plugins.
- cilium: layer 3/4 networking (as well as layer 7 to protect and secure application protocols), supports dynamic insertion of BPF bytecode into the Linux kernel to implement security services, networking and visibility logic.
- contiv: supports vlan, vxlan, bgp and Cisco SDN networking. This plugin is able to apply firewall policies, segregate containers in multiple network and bridging pods onto physical networks.
- weave: Weave is a lightweight container overlay network that doesn't require an external K/V database cluster. (Please refer to weave troubleshooting documentation).
The choice is defined with the variable kube_network_plugin. There is also an option to leverage built-in cloud provider networking instead. See also Network checker.
扫一扫
1715
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
