持续集成系列(4)------容器编排平台k8s多主集群搭建+traefik实现容器负载均衡

持续集成系列------容器编排平台k8s多主集群搭建

## 目标 gitlab+jenkins+docker+harbor+k8s初步实现持续集成

k8s简介

---

Kubernetes（k8s）是自动化容器操作的开源平台，这些操作包括部署，调度和节点集群间扩展。

使用Kubernetes可以：

1. 自动化容器的部署和复制
2. 随时扩展或收缩容器规模
3. 将容器组织成组，并且提供容器间的负载均衡
4. 很容易地升级应用程序容器的新版本
5. 提供容器弹性，如果容器失效就替换它，等等…

Kubernetes解决的问题：

1. 调度 - 容器应该在哪个机器上运行
2. 生命周期和健康状况 - 容器在无错的条件下运行
3. 服务发现 - 容器在哪，怎样与它通信
4. 监控 - 容器是否运行正常
5. 认证 - 谁能访问容器
6. 容器聚合 - 如何将多个容器合并成一个工程

Kubernetes组件组成：

1. kubectl
   客户端命令行工具，将接受的命令格式化后发送给kube-apiserver，作为整个系统的操作入口。
2. kube-apiserver
   作为整个系统的控制入口，以REST API服务提供接口。
3. kube-controller-manager
   用来执行整个系统中的后台任务，包括节点状态状况、Pod个数、Pods和Service的关联等。
4. kube-scheduler
   负责节点资源管理，接受来自kube-apiserver创建Pods任务，并分配到某个节点。
5. etcd
   负责节点间的服务发现和配置共享。
6. kube-proxy
   运行在每个计算节点上，负责Pod网络代理。定时从etcd获取到service信息来做相应的策略。
7. kubelet
   运行在每个计算节点上，作为agent，接受分配该节点的Pods任务及管理容器，周期性获取容器状态，反馈给kube-apiserver。
8. DNS
   一个可选的DNS服务，用于为每个Service对象创建DNS记录，这样所有的Pod就可以通过DNS访问服务了。
   
   

环境准备

---

• 系统:Centos7.4
• docker v17.03
• k8s 1.11.2
• 域名:k8s.domain.com

ip	hostname	role
10.79.167.26	k8s1	master
10.79.167.27	k8s2	master
10.79.167.28	k8s3	master
10.79.166.8		vip

升级内核

rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org
rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-2.el7.elrepo.noarch.rpm
yum --enablerepo=elrepo-kernel install kernel-ml -y
sed -i s/saved/0/g /etc/default/grub
grub2-set-default "$(cat /boot/grub2/grub.cfg |grep menuentry|grep 'menuentry '|head -n 1|awk -F "'" '{print $2}')"
#查看默认启动版本
grub2-editenv list
grub2-mkconfig -o /boot/grub2/grub.cfg && reboot

docker安装

---

# 安装依赖包
yum install -y yum-utils device-mapper-persistent-data lvm2
# 添加docker源
yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
# 安装docker
yum install -y --setopt=obsoletes=0 \
docker-ce-17.03.2.ce-1.el7.centos \
docker-ce-selinux-17.03.2.ce-1.el7.centos \
docker-compose
# 切换国内hub
curl -sSL https://get.daocloud.io/daotools/set_mirror.sh | sh -s http://ef017c13.m.daocloud.io
cat >/etc/docker/daemon.json<<EOF
{"registry-mirrors": ["http://ef017c13.m.daocloud.io"],"live-restore": true,"storage-driver": "overlay2"}
EOF
# 启动
systemctl enable docker
systemctl start docker

安装kubeadm,kubelet,kubectl

#配置源
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

#安装
yum install -y kubelet kubeadm kubectl ipvsadm

配置系统相关参数

sed -i 's/SELINUX=permissive/SELINUX=disabled/' /etc/sysconfig/selinux
setenforce 0
systemctl stop firewalld 
systemctl disable firewalld
swapoff -a && sysctl -w vm.swappiness=0
iptables -P FORWARD ACCEPT
# 配置转发相关参数，否则可能会出错
cat <<EOF >  /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables=1
net.bridge.bridge-nf-call-iptables=1
vm.swappiness=0
net.ipv4.ip_forward=1
EOF
sysctl --system
# /etc/fstab中swap相关的需要删除，否则会导致重启时kubelet启动失败
# 加载ipvs相关内核模块
cat >>/etc/profile<<EOF
modprobe ip_vs
modprobe ip_vs_rr
modprobe ip_vs_wrr
modprobe ip_vs_sh
modprobe nf_conntrack_ipv4
EOF
source /etc/profile
cat >>/etc/hosts <<EOF
10.79.167.26 k8s1.local
10.79.167.27 k8s2.local
10.79.167.28 k8s3.local
EOF

集群高可用

#安装Pacemake Corosync haproxy
yum install corosync pacemaker pcs fence-agents resource-agents -y
yum install haproxy -y
#启动pcsd
systemctl enable pcsd.service
systemctl start pcsd.service
#修改群集用户hacluster密码
echo centos | passwd --stdin