生产环境部署k8s

最新推荐文章于 2024-06-05 14:02:31 发布
最新推荐文章于 2024-06-05 14:02:31 发布
阅读量3.6k 收藏 18
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/flyhorstar/article/details/106327755
版权

准备工作

  1. IP规划
    共需6台服务器，3master+2node+1client
    ○ 10.x.x.110 k8s-master1
    ○ 10.x.x.111 k8s-master2
    ○ 10.x.x.112 k8s-master3
    ○ 10.x.x.113 k8s-node1
    ○ 10.x.x.114 k8s-node2
    ○ 10.x.x.115 k8s-client
    10.5.6.120 k8s-master 这个是master的vip

  2. 修改主机名（所有节点）

    hostnamectl set-hostname <hostname>
如：hostnamectl set-hostname k8s-master1

  3. 修改hosts文件

    cat << EOF >> /etc/hosts

    复制粘贴以下内容

    10.x.x.110 k8s-master1
10.x.x.111 k8s-master2
10.x.x.112 k8s-master3
10.x.x.113 k8s-node1
10.x.x.114 k8s-node2
10.x.x.115 k8s-client
EOF

  4. 安装常用基础包vim，wget，yum-utils，device-mapper-persistent-data，lvm2，bash-completion

    yum install -y vim wget yum-utils device-mapper-persistent-data lvm2 bash-completion
source /etc/profile.d/bash_completion.sh

  5. 关闭防火墙

    systemctl stop firewalld
systemctl disable firewalld

  6. 将SELINUX=enforcing修改成SELINUX=disabled

    setenforce 0
sed -i 's/SELINUX=.*/SELINUX=disabled/g' /etc/selinux/config

  7. 关闭swap文件

    swapoff -a
sed -i.bak '/swap/s/^/#/' /etc/fstab

  8. 免密登陆

    1. 在第一个节点执行：

      ssh-keygen -t rsa

      回车回车到结束

    2. 秘钥同步至其他节点

      ssh-copy-id -i /root/.ssh/id_rsa.pub root@<其他节点>

    3. 免密登陆测试
      第一个节点执行
      ssh <其他节点的ip>
      ssh <其他节点的hostname>

安装docker（所有节点）

方法略

安装keepalived(3台master节点)

  1. 安装
    yum -y install keepalived

  2. 修改配置文件
    配置文件路径：/etc/keepalived/keepalived.conf
    master1配置文件内容：

    ! Configuration File for keepalived
global_defs {
  router_id master1
}

vrrp_instance VI_1 {
    state MASTER
    interface ens160
    virtual_router_id 51
    priority 102
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        10.5.6.120
    }
}

    master2配置文件内容：

    ! Configuration File for keepalived
global_defs {
   router_id master2
}
vrrp_instance VI_1 {
    state BACKUP
    interface ens160
    virtual_router_id 51
    priority 101
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        10.5.6.120
    }
}

    master3配置文件内容：

    ! Configuration File for keepalived
global_defs {
   router_id master3
}
vrrp_instance VI_1 {
    state BACKUP
    interface ens160
    virtual_router_id 51
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        10.5.6.120
    }
}
    1. 然后启动并开机自启动keepalived
      service keepalived start && systemctl enable keepalived
    2. 查看vip是否生效
      ip a

k8s安装前的准备工作（所有节点）

  1. 内核参数修改

    cat <<EOF >  /etc/sysctl.d/k8s.conf

    复制粘贴以下内容：

    net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF

    然后执行：

    sysctl -p /etc/sysctl.d/k8s.conf

  2. 修改Cgroup Driver
    说明：修改cgroupdriver是为了消除告警：

    [WARNING IsDockerSystemdCheck]: detected "cgroupfs" as the Docker cgroup driver. The recommended driver is "systemd". Please follow the guide at https://kubernetes.io/docs/setup/cri/

  3. 新增"exec-opts": [“native.cgroupdriver=systemd”]

    vim /etc/docker/daemon.json

    内容如下：

    {
    "registry-mirrors": ["https://v16stybc.mirror.aliyuncs.com"],
    "exec-opts": ["native.cgroupdriver=systemd"]
}

  4. 重新加载docker

    systemctl daemon-reload && systemctl restart docker

  5. 设置kubernetes源
    还是因为中国特色网络，官方仓库无法使用，我们需要使用阿里源的仓库：

    cat <<EOF > /etc/yum.repos.d/kubernetes.repo

    复制粘贴以下内容：

    [kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

    然后，执行：

    yum clean all && yum -y makecache

安装k8s（所有节点）

  1. 安装k8s组件
    查看一下版本：

    yum list kubelet --showduplicates | sort -r

    安装

    yum install -y kubelet-1.16.4 kubeadm-1.16.4 kubectl-1.16.4

  2. 启动kubelet并设置开机启动

    systemctl enable kubelet && systemctl start kubelet

  3. kubelet命令补全

    echo "source <(kubectl completion bash)" >> ~/.bash_profile
source .bash_profile

  4. 编辑下载镜像的脚本
    vi image.sh
    内容如下：

    #!/bin/bash
url=registry.cn-hangzhou.aliyuncs.com/loong576
version=v1.16.4
images=(`kubeadm config images list --kubernetes-version=$version|awk -F '/' '{print $2}'`)
for imagename in ${images[@]} ; do
  docker pull $url/$imagename
  docker tag $url/$imagename k8s.gcr.io/$imagename
  docker rmi -f $url/$imagename
done

  5. 执行脚本image.sh

    chmod u+x image.sh
./image.sh

初始化Master(仅在master1节点执行)

  1. 创建kubeadm-config.yaml文件
    内容如下：

    apiVersion: kubeadm.k8s.io/v1beta2
kind: ClusterConfiguration
kubernetesVersion: v1.16.4
apiServer:
  certSANs:    #填写所有kube-apiserver节点的hostname、IP、VIP
  - k8s-master1
  - k8s-master2
  - k8s-master3
  - k8s-node1
  - k8s-node2
  - 10.x.x.110
  - 10.x.x.111
  - 10.x.x.112
  - 10.x.x.113
  - 10.x.x.114
  - 10.x.x.120
controlPlaneEndpoint: "10.5.6.120:6443"
networking:
  podSubnet: "10.244.0.0/16"

  2. 初始化

    kubeadm init --config=kubeadm-config.yaml

    执行后，会显示以下内容：（只截取最后的一部分）

    	[bootstrap-token] configured RBAC rules to allow the csrapprover controller automatically approve CSRs from a Node Bootstrap Token
	[bootstrap-token] configured RBAC rules to allow certificate rotation for all node client certificates in the cluster
	[bootstrap-token] Creating the "cluster-info" ConfigMap in the "kube-public" namespace
	[addons] Applied essential addon: CoreDNS
	[addons] Applied essential addon: kube-proxy
	
	Your Kubernetes control-plane has initialized successfully!
	
	To start using your cluster, you need to run the following as a regular user:
	
	  mkdir -p $HOME/.kube
	  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
	  sudo chown $(id -u):$(id -g) $HOME/.kube/config
	
	You should now deploy a pod network to the cluster.
	Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
	  https://kubernetes.io/docs/concepts/cluster-administration/addons/
	
	You can now join any number of control-plane nodes by copying certificate authorities 
	and service account keys on each node and then running the following as root:
	
	  kubeadm join 10.5.6.120:6443 --token zqzg3y.721luyto6duvql0i \
	    --discovery-token-ca-cert-hash sha256:15cffc00cab1551056c5bfacd3c13628060be2a9f9d268edc9b188d19b9cbc23 \
	    --control-plane       
	
	Then you can join any number of worker nodes by running the following on each as root:
	
	kubeadm join 10.5.6.120:6443 --token zqzg3y.721luyto6duvql0i \
   --discovery-token-ca-cert-hash sha256:15cffc00cab1551056c5bfacd3c13628060be2a9f9d268edc9b188d19b9cbc23

    如果初始化失败，可执行kubeadm reset后重新初始化

    kubeadm reset
rm -rf $HOME/.kube/config

  3. 加载环境变量

    # echo "export KUBECONFIG=/etc/kubernetes/admin.conf" >> ~/.bash_profile

    source .bash_profile

  4. 安装pod网络

    kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/2140ac876ef134e0ed5af15c65e414cf26827915/Documentation/kube-flannel.yml

    注意：由于国内网络垃圾，需要修改hosts文件，添加dns解析。去www.ipaddress.com上查看raw.githubusercontenet.com的真实ip。

control plane节点加入集群

  1. 在master01上运行脚本cert-main-master.sh，将证书分发至master02和master03

    vi cert-main-master.sh

    cert-main-master.sh内容如下：

    USER=root # customizable
CONTROL_PLANE_IPS="10.5.6.111 10.5.6.112"
for host in ${CONTROL_PLANE_IPS}; do
    scp /etc/kubernetes/pki/ca.crt "${USER}"@$host:
    scp /etc/kubernetes/pki/ca.key "${USER}"@$host:
    scp /etc/kubernetes/pki/sa.key "${USER}"@$host:
    scp /etc/kubernetes/pki/sa.pub "${USER}"@$host:
    scp /etc/kubernetes/pki/front-proxy-ca.crt "${USER}"@$host:
    scp /etc/kubernetes/pki/front-proxy-ca.key "${USER}"@$host:
    scp /etc/kubernetes/pki/etcd/ca.crt "${USER}"@$host:etcd-ca.crt
    # Quote this line if you are using external etcd
    scp /etc/kubernetes/pki/etcd/ca.key "${USER}"@$host:etcd-ca.key
done

    执行脚本：

    chmod u+x cert-main-master.sh
./cert-main-master.sh

  2. 在master02上运行脚本cert-other-master.sh，将证书移至指定目录

    vi cert-other-master.sh

    内容如下：

    USER=root # customizable
mkdir -p /etc/kubernetes/pki/etcd
mv /${USER}/ca.crt /etc/kubernetes/pki/
mv /${USER}/ca.key /etc/kubernetes/pki/
mv /${USER}/sa.pub /etc/kubernetes/pki/
mv /${USER}/sa.key /etc/kubernetes/pki/
mv /${USER}/front-proxy-ca.crt /etc/kubernetes/pki/
mv /${USER}/front-proxy-ca.key /etc/kubernetes/pki/
mv /${USER}/etcd-ca.crt /etc/kubernetes/pki/etcd/ca.crt
# Quote this line if you are using external etcd
mv /${USER}/etcd-ca.key /etc/kubernetes/pki/etcd/ca.key

    执行脚本

    chmod u+x cert-other-master.sh
./cert-other-master.sh

  3. 在master03上也运行脚本cert-other-master.sh
    代码略

  4. 在master01节点执行：
    查看令牌
    bash kubeadm token list
    如果，发现之前初始化时的令牌已过期，就需要生成新的令牌：

    kubeadm token create

    内容为：mvffkl.66vjzkkibm2uv9ri

  5. 生成新的加密串

    openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null |    openssl dgst -sha256

    内容为：15cffc00cab1551056c5bfacd3c13628060be2a9f9d268edc9b188d19b9cbc23

  6. master02加入集群（在master02上执行）

    kubeadm join 10.5.6.120:6443 --token mvffkl.66vjzkkibm2uv9ri \
    --discovery-token-ca-cert-hash sha256:15cffc00cab1551056c5bfacd3c13628060be2a9f9d268edc9b188d19b9cbc23 \
    --control-plane

    成功执行后，有以下提示（只截取最后面的一部分）
    在这里插入图片描述

  7. master03加入集群（在master03上执行）
    操作与上面的一样，这里略。

  8. 为了在master02和master03上也能执行kubectl命令，master02和master03加载环境变量（以下3条命令分别在master02，master03上执行）

    scp k8s-master1:/etc/kubernetes/admin.conf /etc/kubernetes/
echo "export KUBECONFIG=/etc/kubernetes/admin.conf" >> ~/.bash_profile
source .bash_profile

  9. 集群节点查看
    kubectl get nodes
    在这里插入图片描述
    所有control plane节点处于ready状态，

     ```bash
 kubectl get pod -o wide -n kube-system
 ```
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/20200525111820428.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZseWhvcnN0YXI=,size_16,color_FFFFFF,t_70)
 所有的系统组件也正常。

node节点加入集群

  1. 分别在2个node节点执行

    kubeadm join 10.x.x.120:6443 --token mvffkl.66vjzkkibm2uv9ri \
--discovery-token-ca-cert-hash sha256:15cffc00cab1551056c5bfacd3c13628060be2a9f9d268edc9b188d19b9cbc23

    成功执行后，有以下显示：
    在这里插入图片描述

  2. 再查看一下集群节点

    kubectl get nodes

    NAME       STATUS     ROLES    AGE     VERSION
	master01   Ready      master   33m     v1.16.4
	master02   Ready      master   9m24s   v1.16.4
	master03   Ready      master   8m11s   v1.16.4
	work01     Ready      <none>   54s     v1.16.4
	work02     NotReady   <none>   9s      v1.16.4
	work03     NotReady   <none>   4s      v1.16.4

client配置

mkdir -p /etc/kubernetes
scp 10.x.x.110:/etc/kubernetes/admin.conf /etc/kubernetes/
echo "export KUBECONFIG=/etc/kubernetes/admin.conf" >> ~/.bash_profile
source .bash_profile
kubectl get nodes
kubectl get cs
kubectl get po -o wide -n kube-system
大风哥的博客
关注
  • 0
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
最新的k8s生产环境部署（k8s1.25+containerd+ubuntu20.04）
u012735308的博客
09-26 5904
最新的k8s生产环境部署，使用k8s1.25、containerd、Ubuntu20.04
Kubernetes 生产环境部署微服务 Spring Cloud
IoTHub - 物联网开源技术社区
02-06 1004
Kubernetes 使用 Helm 在生产环境部署微服务 Spring Cloud。
使用kubespray部署k8s生产环境
最新发布
神棍之路
06-05 961
Kubespray 是一个开源项目，它利用 Ansible Playbook 来自动化部署 Kubernetes 集群。支持多种基础设施：可以部署在 AWS, GCE, Azure, OpenStack 以及裸机上。高可用性：支持部署高可用的 Kubernetes 集群。可组合性：用户可以选择不同的网络插件（如 flannel, calico, canal, weave）来部署。支持多种 Linux 发行版。
k8s部署的四种方案
weixin_64811434的博客
12-04 4800
k8s部署的四种方案
k8s之环境部署
waghaiping的博客
03-08 1181
一，环境部署 1，kubeadm方式进行部署 master主机 --api-server --controller-manager --scheduler --etcd --flannel --coredns --kube-proxy node主机 -- kubelet -- kube-proxy -- flannel 基础环境 -- docker 依赖环境 -- docker仓库（harbo） ...
devops之k8s持续部署
11-02
本课程需要有一定的kubernet及docker基础，主要讲解了基于 kubernetes 集群架构，Jenkins如何在其集群上，通过管道实现构建 –> 功能测试 -> 发布版本 -> 生成部署 -> 产品测试 -> 清理管道垃圾 。整个过程穿插使用 docker仓库（Harbor）和 Helm 仓库（ChartMuseum），让环境更加贴近企业环境使用。
生产环境 kubeadm部署k8s
04-09
生产环境 kubeadm部署k8s 包括master高可用
用kubeadm方式部署k8s
02-11
Kubernetes（简称k8s）是Google开源的一种容器编排系统，用于自动化容器化的应用程序部署、扩展和管理。kubeadm是Kubernetes提供的一种简单、可靠的方式来在集群中初始化节点和搭建控制平面，使得部署Kubernetes变得...
阿里云k8s 一键部署nacos2.0.3
01-10
阿里云Kubernetes（简称k8s）是一款强大的容器编排系统，它可以帮助用户轻松管理和部署分布式应用。Nacos是阿里巴巴开源的一款动态服务发现、配置管理和服务管理平台，它为微服务架构提供了关键的支持。在本场景中，...
二进制部署k8s高可用集群（二进制-V1.20）.docx
06-29
1. 生产环境部署 K8s 集群的两种方式 在生产环境中，部署 K8s 集群有两种方式：一种是使用二进制方式，另一种是使用容器方式。二进制方式是使用二进制文件来部署 K8s 集群，而容器方式是使用容器来部署 K8s 集群。...
k8s 二进制部署 .pdf
12-08
在本文中，我们将深入探讨如何使用二进制方式部署高可用 Kubernetes (k8s) 集群。根据提供的信息，我们将在六台机器上进行部署：两台 Master 节点，两台 Node 节点，以及两台运行 Nginx 和 Keepalived 的服务器，...
K8s kubernetes 系统初始化脚本，一键安装部署基础环境，安装依赖包，针对k8s优化的内核参数，升级内核
08-06
2.1 设置主机名和hosts文件解析 2.2 安装依赖包 2.3 设置防火墙为 Iptables 并设置空规则 2.4 关闭 SELINUX 2.5 调整内核参数，对于 K8S 2.6 调整系统时区 2.7 关闭系统不需要服务 2.8 设置 rsyslogd 和 systemd journald 2.9 升级系统内核为 4.44 一键shell脚本
浅谈Kubernetes生产架构
kubernetes中文社区
04-24 559
注意 本文，只是笔者针对Kubernetes生产环境运行的一些关于架构设计和实现方案的总结，内容很粗糙，同时也会不断完善。 首先，我们来梳理下Kubernetes生产架构，其设计适用于绝大多数环境。如下图所示。 在该架构中，我们可以将其分为四层，如下： Client层：即Kubernetes集群外部用户、客户端等； 服务访问层：即由Traefik ingress实现服务发现、负载均衡和路由...
Kubernetes集群生产环境搭建全过程
weixin_34296641的博客
05-25 669
本文详细讲解如何搭建高可用的Kubernetes集群，以下简称k8s 由三台服务器(CentOS 7.0)组成master集群,命名为m1，m2，m3，ip用m1 m2 m3来代替 etcd集群搭建 首先搭建etcd集群,etcd为k8s集群的核心组成部分，负责所有集群配置信息和服务信息的存储，所以必须要保证高可用，此处采用etcd的静态...
k8s(三)生产环境快速部署（kubeasz版本2.0.2）
疯飙的蜗牛
09-18 2144
链接：https://github.com/easzlab/kubeasz 部署步骤 按照示例example/hosts.multi-node的节点配置，准备4台虚机，搭建一个多主高可用集群。 1.基础系统配置 推荐内存2G/硬盘30G以上 最小化安装CentOS 7 Minimal 配置基础网络、更新源、SSH登录等 2.在每个节点安装依赖工具 yum makecache fast yum update yum install python -y 3.在ansible控制端安装及准备
生产环境 VS 开发环境，关于Kubernetes的四大认识误区
kwame211的博客
12-10 1007
【编者的话】当容器和Kubernetes的IT管理团队把本地变更部署在生产环境的时候，往往面对很多要学习的东西。 最近我们澄清了一些大家在进行Kubernetes实验的时候所见到的常见的误解。其中最大的一个误解就是：在生产环境中运行Kubernetes和开发测试环境并无两样。 答案：是不一样的。 Avi Network公司的联合创始人兼首席技术官Ranga Rajagopalan认为：“对于Kub...
k8s环境部署及使用方式
热门推荐
被IT耽误的歌手的博客
10-10 2万+
安装k8s+docker集群环境（基于centos7系统）集群机器： centos-master = 192.168.121.9 centos-minion-1 = 192.168.121.65 centos-minion-2 = 192.168.121.66 centos-minion-3 = 192.168.121.671.配置yum源： [centos
k8s笔记7-离线部署（类生产环境）更新中
chang_rj的博客
02-22 959
node离线部署docker 参考：https://blog.csdn.net/JyuSun/article/details/77927865#commentBox
k8s集群生产环境部署推荐
05-30
在Kubernetes集群的生产环境中，部署应该遵循以下的最佳实践： 1. 选择合适的网络插件：Kubernetes支持多种网络插件，如Flannel、Calico、Weave Net等。需要根据自己的网络环境和需求选择最合适的网络插件。 2. 使用TLS加密通信：Kubernetes集群中的所有节点都应该使用TLS加密通信，以保证通信的安全性。 3. 使用RBAC授权：Kubernetes的Role-Based Access Control（RBAC）授权机制可以限制用户和服务账号的访问权限，建议在集群中启用RBAC授权。 4. 使用高可用性部署：建议使用多个Master节点来实现高可用性，以避免单点故障。 5. 使用持久化存储：在生产环境中，需要使用持久化存储来存储应用程序的数据。建议使用Kubernetes的Persistent Volumes（PV）和Persistent Volume Claims（PVC）来管理持久化存储。 6. 监控和日志记录：使用Kubernetes的监控和日志记录工具，如Prometheus、Grafana、ELK Stack等，可以帮助管理员实时监控集群的状态和记录日志，便于排查故障。 7. 自动化部署和升级：使用自动化工具如Kubernetes Operators、Helm等来自动化部署和升级应用程序，可以提高效率和减少错误。 以上是Kubernetes集群在生产环境中的最佳实践，可以根据具体情况进行调整。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值