三、Kubernetes 的安装搭建

1、Kubernetes 的实验搭建

1.1、环境需求

机器名称	硬件需求	其他
Kubernetes-master01	CPU：2 核内存：4 G	Centos 7.x 内核版本 4.0 以上
Kubernetes-node01	CPU：2 核内存：3 G	Centos 7.x 内核版本 4.0 以上
Kubernetes-node02	CPU：2 核内存：3 G	Centos 7.x 内核版本 4.0 以上
harbor	CPU：1 核内存：1 G	Linux系统
ikuai	CPU：1 核内存：1 G	Linux系统

-----以下操作在每台机器上都操作----

1.1.1、基本信息的配置

①、修改主机名

hostnamectl  set-hostname  k8s-master01
hostnamectl  set-hostname  k8s-node01
hostnamectl  set-hostname  k8s-node02

②、修改解析文件

vim /etc/hosts
192.168.15.61 k8s-master01
192.168.15.62 k8s-node01
192.168.15.61 k8s-node02
192.168.15.200 hub.houxi.com     # harbor 仓库

③、安装依赖包

yum install -y conntrack ntpdate ntp ipvsadm ipset  iptables curl\
sysstat libseccomp wget  vim net-tools git

1.1.2、防火墙、Selinux 、虚拟内存的配置

systemctl  stop firewalld  &&  systemctl  disable firewalld
yum -y install iptables-services  &&  systemctl  start iptables \
 &&  systemctl  enable iptables  &&  iptables -F  &&  service iptables save
 swapoff -a && sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab
setenforce 0 && sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config

1.1.3、内核参数的配置

cat > kubernetes.conf <<EOF
net.bridge.bridge-nf-call-iptables=1
net.bridge.bridge-nf-call-ip6tables=1
net.ipv4.ip_forward=1
net.ipv4.tcp_tw_recycle=0
vm.swappiness=0 # 禁止使用 swap 空间，只有当系统 OOM 时才允许使用它
vm.overcommit_memory=1 # 不检查物理内存是否够用
vm.panic_on_oom=0 # 开启 OOM	
fs.inotify.max_user_instances=8192
fs.inotify.max_user_watches=1048576
fs.file-max=52706963
fs.nr_open=52706963
net.ipv6.conf.all.disable_ipv6=1
net.netfilter.nf_conntrack_max=2310720
EOF

# 备份配置文件
cp kubernetes.conf  /etc/sysctl.d/kubernetes.conf
# 加载配置文件
sysctl -p /etc/sysctl.d/kubernetes.conf

1.1.4、系统时区的设置

# 设置系统时区为 中国/上海
timedatectl set-timezone Asia/Shanghai
# 将当前的 UTC 时间写入硬件时钟
timedatectl set-local-rtc 0
# 重启依赖于系统时间的服务
systemctl restart rsyslog 
systemctl restart crond
# 建议写时间同步的定时计划任务
crontab -e
*/5 * * * *   /sbin/ntpdate -u ntp1.aliyun.com &>/dev/null

1.1.5、关闭不需要的服务

systemctl stop postfix && systemctl disable postfix

1.1.6、日志的设置

mkdir /var/log/journal # 持久化保存日志的目录
mkdir /etc/systemd/journald.conf.d
    cat > /etc/systemd/journald.conf.d/99-prophet.conf <<EOF
[Journal]
# 持久化保存到磁盘
Storage=persistent

# 压缩历史日志
Compress=yes

SyncIntervalSec=5m
RateLimitInterval=30s
RateLimitBurst=1000

# 最大占用空间 10G
SystemMaxUse=10G

# 单日志文件最大 200M
SystemMaxFileSize=200M

# 日志保存时间 2 周
MaxRetentionSec=2week

# 不将日志转发到 syslog
ForwardToSyslog=no
EOF
# 重启日志服务
systemctl restart systemd-journald

1.1.7、升级系统内核

CentOS 7.x 系统自带的 3.10.x 内核存在一些 Bugs，导致运行的 Docker、Kubernetes 不稳定，例如： rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm.
rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm
# 安装完成后检查 /boot/grub2/grub.cfg 中对应内核 menuentry 中是否包含
# initrd16 配置，如果没有，再安装一次！
yum --enablerepo=elrepo-kernel install -y kernel-lt
# 检查是否存在 4.x 的内核
cat /boot/grub2/grub.cfg | grep 4.
# 设置开机从新内核启动
grub2-set-default 'CentOS Linux (4.4.189-1.el7.elre64) 7 (Core)'

1.1.8、重启并检查设置

# 重启系统，加载升级后的内核
reboot
# 检查防火墙及规则
iptables -L
# 检查虚拟内存
free -m      # swap 显示为 0
# 检查 Selinux
getenforce
# 检查内核
uname -r    # 显示为4.x 内核

1.2、kube 环境搭建

1.2.1、kube-proxy开启ipvs的前置条件

# 加载 netfilter 模块
modprobe br_netfilter

# 加载 Ipvs 相关的模块
cat > /etc/sysconfig/modules/ipvs.modules <<EOF
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF

# 给脚本授权
chmod 755 /etc/sysconfig/modules/ipvs.modules
# 运行该脚本
bash /etc/sysconfig/modules/ipvs.modules
# 检查 Ipvs 模块（1.14版本后调度器升级为ipvs,若无则降级为iptables）
lsmod | grep -e ip_vs -e nf_conntrack_ipv4

1.2.2、安装 Docker 软件

# 安装 docker 的依赖软件
yum install -y yum-utils device-mapper-persistent-data lvm2
# 添加 docker 的下载源地址
yum-config-manager \
  --add-repo \
  http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

# docker 是可选项 
yum install -y docker-ce

## 创建 /etc/docker 目录
mkdir /etc/docker

# 配置 daemon.
cat > /etc/docker/daemon.json <<EOF
{
    # cgroup 的设置
  "exec-opts": ["native.cgroupdriver=systemd"],
  # 日志驱动
  "log-driver": "json-file",
  # 日期轮替大小
  "log-opts": {
    "max-size": "100m"
  },
  # 配置私有仓库的域名
  "insecure-registries": ["hub.houxi.com"]
}
EOF
# 创建 docker 启动命令的管理目录
mkdir -p /etc/systemd/system/docker.service.d

# 重启 docker 服务
systemctl daemon-reload && systemctl restart docker && systemctl enable docker
# 重启系统
reboot

1.2.3、安装 Kubeadm （主从配置）

# 配置 kubernetes.repo 源文件
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

# 安装软件
yum -y  install  kubeadm-1.15.1 kubectl-1.15.1 kubelet-1.15.1
# 设置开机自启（以进程的新式运行）
systemctl enable kubelet.service

----以上操作在每台机器上都操作----

1.2.4、初始化 Master 节点

# 打印 yaml 模板文件
kubeadm config print init-defaults > kubeadm-config.yaml
vim kubeadm-config.yaml
localAPIEndpoint:
	 # 修改为 master 节点 IP 地址
  advertiseAddress: 192.168.66.10
  # 修改为安装的版本
  kubernetesVersion: v1.15.1
	networking:
# 添加 Pod 的网段
  podSubnet: "10.244.0.0/16"
  serviceSubnet: 10.96.0.0/12
---（多个yaml文件合并在一个无文件中）
# 调度方式
apiVersion: kubeproxy.config.k8s.io/v1alpha1
kind: KubeProxyConfiguration
featureGates:
  SupportIPVSProxyMode: true
mode: ipvs

# 初始化 master 节点
kubeadm init --config=kubeadm-config.yaml --experimental-upload-certs | tee kubeadm-init.log

# 异常点：
    出现 kubeadm config images pull 命令时，要在外网下载相关软件，
    \较慢可以事先下载安装

①、下载 kubeadm 所需的镜像

kubeadm config images pull

②、自行下载软件导入脚本

vim imagesload.sh
#!/bin/bash
# /root/kubeadm-basic.images/ 为下载的镜像存放目录
ls /root/kubeadm-basic.images/ > /tmp/images.cache

for i in $(cat /tmp/images.cache)

do
    docker load -i /root/kubeadm-basic.images/$i
done

rm -rf /tmp/images.cache
    
# 赋予脚本权限
chmod a+x imagesload.sh                        
# 执行脚本
./imagesload.sh                                    
   
                    
# 再次初始化 master 节点（该选项只在 master 节点执行）
kubeadm init --config=kubeadm-config.yaml --experimental-upload-certs | tee kubeadm-init.log

1.2.5、Master 节点优化

# 在当前用户家目录下创建 ./kube 目录
mkdir -p $HOME/.kube
# 复制 admin 配置文件（用户认证文件）至家目录下，便于调用
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
# 给配置文件授权
sudo chown $(id -u):$(id -g) $HOME/.kube/config

1.2.6、Master 节点测试

kubectl get node

Master 节点已搭建完毕（无扁平化网络空间）

1.2.7、Master 组建优化

# 创建组建的存放目录
mkdir -p /usr/local/kubernetes/install
mv kubeadm-init.log kubeadm-config.yaml /usr/local/kubernetes/install
# 可以删除多余的文件

①、查看 kubeadm-init.log 文件

# 添加环境变量
[kubelet-start] Writing kubelet environment file with flags to \
file "/var/lib/kubelet/kubeadm-flags.env"
    /var/lib/kubelet/kubeadm-flags.env ：子命令的指定
# 写入配置文件
[kubelet-start] Writing kubelet configuration to file \
    "/var/lib/kubelet/config.yaml" ：当前 kubelet 运行的配置信息
# 创建秘钥、证书存放目录
[certs] Using certificateDir folder "/etc/kubernetes/pki"
    /etc/kubernetes/pki ：该目录下存放自动创建的双向秘钥认证文件
    /etc/kubernetes/manifests ：存放组件 yaml 文件

1.2.8、node 节点优化

# node 节点执行此命令加入集群
kubeadm join 192.168.15.61:6443 --token abcdef.0123456789abcdef \
    --discovery-token-ca-cert-hash sha256:c731e979749d26f4a14cd43395404ad89b54633cb60e6de106031b2f41250153

1.2.8、Master 节点再次测试

kuberctl get node

node 节点已加入master节点（无扁平化网络空间）

----以上是 Kubernetes 运行成功----

1.3、扁平化网络设置

1.3.1、下载 flannel 软件

# GitHub 的下载地址
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

1.3.2、安装 flannel（ master+node节点 ）

mkdir /usr/local/kubernetes/cni
mv flannel.tar.gz /usr/local/kubernetes/cni
cd /usr/local/kubernetes/cni
tar zxf flannel.tar.gz
cd flannel
    # 目录下的文件
     flannel.tar kube-flannel.yml
# 导入 flannel 软件
docker load -i flannel.tar
# 基于 kube-flannel.yml 文件创建 flannel 的运行方式
kubectl create -f kube-flannel.yml
# 指定名称空间（kube-system 专门存放系统组件的）
kubectl get pod -n kube-system     # 不加默认在 default 名称空间下

1.3.3、Master 节点再次测试

kuberctl get node

node 节点已加入master节点（扁平化网络空间以添加）

----以上就完成了 Kubernetes 的配置----

1.4、Kubernetes 的操作

需求：运行myapp的镜像，里面封装了一个 Nginx ，index.html 文件中可以看到 Pod 的名称

①、启动镜像

格式：kubectl create deployment [容器名] --image=[镜像名]

命令：kubectl create deployment myapp --image=wangyanglinux/myapp:v1
表示此 Pod 中只有一个镜像

②、查看 Pod 状态信息

格式：kubectl get pod

③、查看 Pod 详细状态

格式：kubectl describe pod [pod NAME]

④、查看 Pod 所有信息

格式：kubectl get pod -o wide

⑤、修改 Pod 的期望数

格式：kubectl edit deployment [容器名]

修改 replicas 后面的数。该数位几 ，该 Pod 的期望值就为几。

⑥、删除单个 Pod

格式：kubectl delete pod [Pod NAME ]

⑦、删除所有 Pod (当前名称空间)

格式：kubectl delete pod [Pod Name] --all

⑧、创建 svc

格式：kubectl create service clusterip [pod Name] --tcp=80:80 --dry-run -o yaml

选项：

	--tcp：映射端口
	--dry-run：测试状态
	-o：指定输出格式			(可以为 yaml 格式0 ，也可以为 json 格式 )

⑨ 、查看所有名称空间的 Pod

格式：kubectl get pod --all-namespaces