1、Kubernetes 的实验搭建
1.1、环境需求
机器名称 | 硬件需求 | 其他 |
---|---|---|
Kubernetes-master01 | CPU:2 核内存:4 G | Centos 7.x 内核版本 4.0 以上 |
Kubernetes-node01 | CPU:2 核内存:3 G | Centos 7.x 内核版本 4.0 以上 |
Kubernetes-node02 | CPU:2 核内存:3 G | Centos 7.x 内核版本 4.0 以上 |
harbor | CPU:1 核内存:1 G | Linux系统 |
ikuai | CPU:1 核内存:1 G | Linux系统 |
-----以下操作在每台机器上都操作----
1.1.1、基本信息的配置
①、修改主机名
hostnamectl set-hostname k8s-master01
hostnamectl set-hostname k8s-node01
hostnamectl set-hostname k8s-node02
②、修改解析文件
vim /etc/hosts
192.168.15.61 k8s-master01
192.168.15.62 k8s-node01
192.168.15.61 k8s-node02
192.168.15.200 hub.houxi.com # harbor 仓库
③、安装依赖包
yum install -y conntrack ntpdate ntp ipvsadm ipset iptables curl\
sysstat libseccomp wget vim net-tools git
1.1.2、防火墙、Selinux 、虚拟内存的配置
systemctl stop firewalld && systemctl disable firewalld
yum -y install iptables-services && systemctl start iptables \
&& systemctl enable iptables && iptables -F && service iptables save
swapoff -a && sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab
setenforce 0 && sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config
1.1.3、内核参数的配置
cat > kubernetes.conf <<EOF
net.bridge.bridge-nf-call-iptables=1
net.bridge.bridge-nf-call-ip6tables=1
net.ipv4.ip_forward=1
net.ipv4.tcp_tw_recycle=0
vm.swappiness=0 # 禁止使用 swap 空间,只有当系统 OOM 时才允许使用它
vm.overcommit_memory=1 # 不检查物理内存是否够用
vm.panic_on_oom=0 # 开启 OOM
fs.inotify.max_user_instances=8192
fs.inotify.max_user_watches=1048576
fs.file-max=52706963
fs.nr_open=52706963
net.ipv6.conf.all.disable_ipv6=1
net.netfilter.nf_conntrack_max=2310720
EOF
# 备份配置文件
cp kubernetes.conf /etc/sysctl.d/kubernetes.conf
# 加载配置文件
sysctl -p /etc/sysctl.d/kubernetes.conf
1.1.4、系统时区的设置
# 设置系统时区为 中国/上海
timedatectl set-timezone Asia/Shanghai
# 将当前的 UTC 时间写入硬件时钟
timedatectl set-local-rtc 0
# 重启依赖于系统时间的服务
systemctl restart rsyslog
systemctl restart crond
# 建议写时间同步的定时计划任务
crontab -e
*/5 * * * * /sbin/ntpdate -u ntp1.aliyun.com &>/dev/null
1.1.5、关闭不需要的服务
systemctl stop postfix && systemctl disable postfix
1.1.6、日志的设置
mkdir /var/log/journal # 持久化保存日志的目录
mkdir /etc/systemd/journald.conf.d
cat > /etc/systemd/journald.conf.d/99-prophet.conf <<EOF
[Journal]
# 持久化保存到磁盘
Storage=persistent
# 压缩历史日志
Compress=yes
SyncIntervalSec=5m
RateLimitInterval=30s
RateLimitBurst=1000
# 最大占用空间 10G
SystemMaxUse=10G
# 单日志文件最大 200M
SystemMaxFileSize=200M
# 日志保存时间 2 周
MaxRetentionSec=2week
# 不将日志转发到 syslog
ForwardToSyslog=no
EOF
# 重启日志服务
systemctl restart systemd-journald
1.1.7、升级系统内核
CentOS 7.x 系统自带的 3.10.x 内核存在一些 Bugs,导致运行的 Docker、Kubernetes 不稳定,例如: rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm.
rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm
# 安装完成后检查 /boot/grub2/grub.cfg 中对应内核 menuentry 中是否包含
# initrd16 配置,如果没有,再安装一次!
yum --enablerepo=elrepo-kernel install -y kernel-lt
# 检查是否存在 4.x 的内核
cat /boot/grub2/grub.cfg | grep 4.
# 设置开机从新内核启动
grub2-set-default 'CentOS Linux (4.4.189-1.el7.elre64) 7 (Core)'
1.1.8、重启并检查设置
# 重启系统,加载升级后的内核
reboot
# 检查防火墙及规则
iptables -L
# 检查虚拟内存
free -m # swap 显示为 0
# 检查 Selinux
getenforce
# 检查内核
uname -r # 显示为4.x 内核
1.2、kube 环境搭建
1.2.1、kube-proxy开启ipvs的前置条件
# 加载 netfilter 模块
modprobe br_netfilter
# 加载 Ipvs 相关的模块
cat > /etc/sysconfig/modules/ipvs.modules <<EOF
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF
# 给脚本授权
chmod 755 /etc/sysconfig/modules/ipvs.modules
# 运行该脚本
bash /etc/sysconfig/modules/ipvs.modules
# 检查 Ipvs 模块(1.14版本后调度器升级为ipvs,若无则降级为iptables)
lsmod | grep -e ip_vs -e nf_conntrack_ipv4
1.2.2、安装 Docker 软件
# 安装 docker 的依赖软件
yum install -y yum-utils device-mapper-persistent-data lvm2
# 添加 docker 的下载源地址
yum-config-manager \
--add-repo \
http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
# docker 是可选项
yum install -y docker-ce
## 创建 /etc/docker 目录
mkdir /etc/docker
# 配置 daemon.
cat > /etc/docker/daemon.json <<EOF
{
# cgroup 的设置
"exec-opts": ["native.cgroupdriver=systemd"],
# 日志驱动
"log-driver": "json-file",
# 日期轮替大小
"log-opts": {
"max-size": "100m"
},
# 配置私有仓库的域名
"insecure-registries": ["hub.houxi.com"]
}
EOF
# 创建 docker 启动命令的管理目录
mkdir -p /etc/systemd/system/docker.service.d
# 重启 docker 服务
systemctl daemon-reload && systemctl restart docker && systemctl enable docker
# 重启系统
reboot
1.2.3、安装 Kubeadm (主从配置)
# 配置 kubernetes.repo 源文件
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
# 安装软件
yum -y install kubeadm-1.15.1 kubectl-1.15.1 kubelet-1.15.1
# 设置开机自启(以进程的新式运行)
systemctl enable kubelet.service
----以上操作在每台机器上都操作----
1.2.4、初始化 Master 节点
# 打印 yaml 模板文件
kubeadm config print init-defaults > kubeadm-config.yaml
vim kubeadm-config.yaml
localAPIEndpoint:
# 修改为 master 节点 IP 地址
advertiseAddress: 192.168.66.10
# 修改为安装的版本
kubernetesVersion: v1.15.1
networking:
# 添加 Pod 的网段
podSubnet: "10.244.0.0/16"
serviceSubnet: 10.96.0.0/12
---(多个yaml文件合并在一个无文件中)
# 调度方式
apiVersion: kubeproxy.config.k8s.io/v1alpha1
kind: KubeProxyConfiguration
featureGates:
SupportIPVSProxyMode: true
mode: ipvs
# 初始化 master 节点
kubeadm init --config=kubeadm-config.yaml --experimental-upload-certs | tee kubeadm-init.log
# 异常点:
出现 kubeadm config images pull 命令时,要在外网下载相关软件,
\较慢可以事先下载安装
①、下载 kubeadm 所需的镜像
kubeadm config images pull
②、自行下载软件导入脚本
vim imagesload.sh
#!/bin/bash
# /root/kubeadm-basic.images/ 为下载的镜像存放目录
ls /root/kubeadm-basic.images/ > /tmp/images.cache
for i in $(cat /tmp/images.cache)
do
docker load -i /root/kubeadm-basic.images/$i
done
rm -rf /tmp/images.cache
# 赋予脚本权限
chmod a+x imagesload.sh
# 执行脚本
./imagesload.sh
# 再次初始化 master 节点(该选项只在 master 节点执行)
kubeadm init --config=kubeadm-config.yaml --experimental-upload-certs | tee kubeadm-init.log
1.2.5、Master 节点优化
# 在当前用户家目录下创建 ./kube 目录
mkdir -p $HOME/.kube
# 复制 admin 配置文件(用户认证文件)至家目录下,便于调用
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
# 给配置文件授权
sudo chown $(id -u):$(id -g) $HOME/.kube/config
1.2.6、Master 节点测试
kubectl get node
Master 节点已搭建完毕(无扁平化网络空间)
1.2.7、Master 组建优化
# 创建组建的存放目录
mkdir -p /usr/local/kubernetes/install
mv kubeadm-init.log kubeadm-config.yaml /usr/local/kubernetes/install
# 可以删除多余的文件
①、查看 kubeadm-init.log 文件
# 添加环境变量
[kubelet-start] Writing kubelet environment file with flags to \
file "/var/lib/kubelet/kubeadm-flags.env"
/var/lib/kubelet/kubeadm-flags.env :子命令的指定
# 写入配置文件
[kubelet-start] Writing kubelet configuration to file \
"/var/lib/kubelet/config.yaml" :当前 kubelet 运行的配置信息
# 创建秘钥、证书存放目录
[certs] Using certificateDir folder "/etc/kubernetes/pki"
/etc/kubernetes/pki :该目录下存放自动创建的双向秘钥认证文件
/etc/kubernetes/manifests :存放组件 yaml 文件
1.2.8、node 节点优化
# node 节点执行此命令加入集群
kubeadm join 192.168.15.61:6443 --token abcdef.0123456789abcdef \
--discovery-token-ca-cert-hash sha256:c731e979749d26f4a14cd43395404ad89b54633cb60e6de106031b2f41250153
1.2.8、Master 节点再次测试
kuberctl get node
node 节点已加入master节点(无扁平化网络空间)
----以上是 Kubernetes 运行成功----
1.3、扁平化网络设置
1.3.1、下载 flannel 软件
# GitHub 的下载地址
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
1.3.2、安装 flannel( master+node节点 )
mkdir /usr/local/kubernetes/cni
mv flannel.tar.gz /usr/local/kubernetes/cni
cd /usr/local/kubernetes/cni
tar zxf flannel.tar.gz
cd flannel
# 目录下的文件
flannel.tar kube-flannel.yml
# 导入 flannel 软件
docker load -i flannel.tar
# 基于 kube-flannel.yml 文件创建 flannel 的运行方式
kubectl create -f kube-flannel.yml
# 指定名称空间(kube-system 专门存放系统组件的)
kubectl get pod -n kube-system # 不加默认在 default 名称空间下
1.3.3、Master 节点再次测试
kuberctl get node
node 节点已加入master节点(扁平化网络空间以添加)
----以上就完成了 Kubernetes 的配置----
1.4、Kubernetes 的操作
需求:运行myapp的镜像,里面封装了一个 Nginx ,index.html 文件中可以看到 Pod 的名称
①、启动镜像
格式:kubectl create deployment [容器名] --image=[镜像名]
命令:kubectl create deployment myapp --image=wangyanglinux/myapp:v1
表示此 Pod 中只有一个镜像
②、查看 Pod 状态信息
格式:kubectl get pod
③、查看 Pod 详细状态
格式:kubectl describe pod [pod NAME]
④、查看 Pod 所有信息
格式:kubectl get pod -o wide
⑤、修改 Pod 的期望数
格式:kubectl edit deployment [容器名]
修改 replicas 后面的数。该数位几 ,该 Pod 的期望值就为几。
⑥、删除单个 Pod
格式:kubectl delete pod [Pod NAME ]
⑦、删除所有 Pod (当前名称空间)
格式:kubectl delete pod [Pod Name] --all
⑧、创建 svc
格式:kubectl create service clusterip [pod Name] --tcp=80:80 --dry-run -o yaml
选项:
--tcp:映射端口
--dry-run:测试状态
-o:指定输出格式 (可以为 yaml 格式0 ,也可以为 json 格式 )
⑨ 、查看所有名称空间的 Pod
格式:kubectl get pod --all-namespaces