K8s入门（四）-kubeadm

使用kubeadm可实现k8s集群的快速部署；

资源配置要求

集群配置
master01：192.168.74.198 		配置建议2C/4G以上
node01:192.168.74.168			配置2C/2G以上
node02:192.168.74.208			配置2C/2G以上
Harbor节点：192.168.74.33		hub.chh.com

部署流程大致如下：
1.所有节点安装docker，kubeadm
2.部署k8s master
3.部署网络插件flannel
4.部署node节点，并加入集群
5.部署dashboard web页面，可视化集群资源管理
6.部署Harbor私有仓库，存储镜像

环境准备

systemctl stop firewalld
systemctl disable firewalld
setenforce 0
iptables -F
swapoff -a			#关闭交换分区
#加载ipvs模块
for i in $(ls /usr/lib/modules/$(uname -r)/kernel/net/netfilter/ipvs|grep -o "^[^.]*");do echo $i; /sbin/modinfo -F filename $i >/dev/null 2>&1 && /sbin/modprobe $i;done

#修改主机名，配置hosts文件；
hostnamectl set-hostname master01
hostnamectl set-hostname node01
hostnamectl set-hostname node02

#所有节点都需要配置
echo -e "192.168.74.198 master01\n192.168.74.168 node01\n192.168.74.208 node02\n192.168.74.33 hub.chh.com" >> /etc/hosts

调整内核参数：
cat > /etc/sysctl.d/kubernetes.conf << EOF
net.bridge.bridge-nf-call-ip6tables=1		
#开启网桥模式，可将网桥的流量传递给iptables链
net.bridge.bridge-nf-call-iptables=1
net.ipv6.conf.all.disable_ipv6=1			
#关闭ipv6协议
net.ipv4.ip_forward=1
EOF

sysctl --system								#参数生效

节点部署

所有节点安装docker
yum install -y yum-utils device-mapper-persistent-data lvm2 
yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo 
yum install -y docker-ce

mkdir /etc/docker
cat > /etc/docker/daemon.json <<EOF
{
  "registry-mirrors": ["https://99u5fr8a.mirror.aliyuncs.com"],
  "exec-opts": ["native.cgroupdriver=systemd"],
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "100m"
  },
 "insecure-registries":["https://hub.chh.com"] 
 }
EOF

#registry-mirrors 阿里镜像加速地址可在阿里云获取
#native.cgroupdriver=systemd：使用Systemd管理的Cgroup来进行资源控制与管理，因为相对Cgroupfs而言，Systemd限制CPU、内存等资源更加简单和成熟稳定
#日志使用json-file格式类型存储，大小为100M，保存在/var/log/containers目录下，方便ELK等日志系统收集和管理日志

systemctl daemon-reload
systemctl restart docker
systemctl enable docker

docker info | grep "Cgroup Driver"
---------------------------------------------
所有节点安装kubeadm，kubelet和kubectl,仓库除外
1.定义kubernetes源
cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
yum clean all && yum makecache
yum install -y kubelet-1.15.1 kubeadm-1.15.1 kubectl-1.15.1
#K8S通过kubeadm安装出来以后都是以Pod方式存在，即底层是以容器方式运行，所以kubelet必须设置开机自启
systemctl enable kubelet

2.部署k8s集群
kubeadm config images list			#查看初始化所需的镜像
下载所需软件包中opt目录
#加载所有镜像包
for i in $(ls /opt/kubeadm-basic.images/*.tar); do docker load -i $i; done
scp -r /opt/kubeadm-basic.images root@node01:/opt/
scp -r /opt/kubeadm-basic.images root@node02:/opt/
#将镜像包传到node01，node02节点，然后加载

初始化kubeadm
kubeadm config print init-defaults > /opt/kubeadm-config.yaml
vim /opt/kubeadm-config.yaml
advertiseAddress: 192.168.74.198			#12行，指定master的ip地址
kubernetesVersion: v1.15.1					#34行，指定kubernetes版本号
podSubnet: "10.244.0.0/16"					#36行下插入，指定pod网段，该网段用于匹配flannel默认网段
serviceSubnet: 10.96.0.0/16					#38行，指定service网段
#末尾添加以下内容，把默认的service调度方式改为ipvs模式
---
apiVersion: kubeproxy.config.k8s.io/v1alpha1
kind: KubeProxyConfiguration
featureGates:
  SupportIPVSProxyMode: true
mode: ipvs
----------------------------
kubeadm init --config=kubeadm-config.yaml --experimental-upload-certs | tee kubeadm-init.log
#--experimental-upload-certs 参数可以在后续执行加入节点时自动分发证书文件
#tee kubeadm-init.log 用以输出日志
#配置文件存放路径 /etc/kubernetes/,ca证书，秘钥存储路径//etc/kubernetes/pki

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
#kubectl需经由API server认证及授权后方能执行相应的管理操作，
#kubeadm 部署的集群为其生成了一个具有管理员权限的认证配置文件 /etc/kubernetes/admin.conf，
#它可由 kubectl 通过默认的 “$HOME/.kube/config” 的路径进行加载。
ls ~/.kube/

在node节点执行以下命令，使其加入k8s集群
kubeadm join 192.168.74.198:6443 --token abcdef.0123456789abcdef \
    --discovery-token-ca-cert-hash sha256:4a88bdd1d276a0cabd83f719fe2beac0a96cd429333f972daeb17aa5df9977cd 


在master上
kubectl get nodes
#获取集群信息，但此时未安装flannel，所有状态显示为NotReady

3.所有节点部署flannel网络插件
上传flannel镜像到所有节点的opt目录
docker load < flannel.tar
master节点执行以下
kubectl apply -f kube-flannel.yml 
kubectl get nodes						#可查看到节点状态变更为Ready
kubectl get pods -n kube-system			

创建pod测试k8s集群
kubectl create deployment nginx --image=nginx		#创建资源
kubectl get pods -o wide

kubectl expose deployment nginx --port=80 --type=NodePort		#暴露端口
kubectl get svc
curl http://node02:31300		访问页面

#扩展副本
kubectl scale deployment nginx --replicas=3
kubectl get pods -o wide

部署dashboard

所有节点上传dashboard安装包到opt目录，master节点上传kubernetes-dashboard.yaml文件执行
docker load < dashboard.tar			#所有节点执行
kubectl apply -f kubernetes-dashboard.yaml		#master节点执行

#火狐访问http://node01:30001
#如果提示不安全，可以在高级-选择例外

#创建service account并绑定默认cluster-admin管理员集群角色
kubectl create serviceaccount dashboard-admin -n kube-system

kubectl create clusterrolebinding dashboard-admin --clusterrole=cluster-admin --serviceaccount=kube-system:dashboard-admin

#获取令牌密钥
kubectl describe secrets -n kube-system $(kubectl -n kube-system get secret | awk '/dashboard-admin/{print $1}')

安装Harbor私有仓库

上传 harbor-offline-installer-v1.2.2.tgz 和 docker-compose 文件到 /opt 目录
chmod +x docker-compose
cp docker-compose /usr/local/bin/
tar zxvf harbor-offline-installer-v1.2.2.tgz
cd harbor/
vim harbor.cfg
hostname = hub.chh.com					#5行，主机名
ui_url_protocol = https					#9行，https
ssl_cert = /data/cert/server.crt		#24行，证书位置
ssl_cert_key = /data/cert/server.key	#25行，密钥位置

生成证书，私钥
mkdir -p /data/cert
cd /data/cert
openssl genrsa -des3 -out server.key 2048		#输入密码

生成证书签名请求文件
openssl req -new -key server.key -out server.csr


私钥备份
cp server.key server.key.org
清除私钥密码
openssl rsa -in server.key.org -out server.key
需输入之前设置的密码

证书签名
openssl x509 -req -days 1000 -in server.csr -signkey server.key -out server.crt
chmod +x /data/cert/*
cd /opt/harbor/
./install.sh


浏览器访问 https://hub.chh.com
admin-Harbor12345		账密

在node01节点登录harbor
docker login -u admin -p Harbor12345
上传镜像到harbor
docker tag nginx:latest hub.chh.com/library/nginx:v1
docker push hub.chh.com/library/nginx:v1
在页面可查看到上传的镜像

删除master01之前创建的nginx pod
kubectl delete deployment nginx

kubectl run nginx-deployment --image=hub.chh.com/library/nginx:v1 --port=80 --replicas=3
kubectl expose deployment nginx-deployment --port=31111 --target-port=80
kubectl get svc,pods

yum install ipvsadm -y
curl 10.96.75.114:31111
10.96.75.114是kubectl get svc，对应获取的CLUSTER-IP，31111是暴露的端口

kubectl edit svc nginx-deployment
#25行，type: NodePort	把调度策略改成NodePort

kubectl get svc

浏览器访问
192.168.74.198：31641
192.168.74.168：31641
192.168.74.208：31641
都可以访问nginx服务