生产环境部署k8s

最新推荐文章于 2024-06-05 14:02:31 发布
最新推荐文章于 2024-06-05 14:02:31 发布
阅读量3.6k 收藏 18
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/flyhorstar/article/details/106327755
版权

准备工作

  1. IP规划
    共需6台服务器，3master+2node+1client
    ○ 10.x.x.110 k8s-master1
    ○ 10.x.x.111 k8s-master2
    ○ 10.x.x.112 k8s-master3
    ○ 10.x.x.113 k8s-node1
    ○ 10.x.x.114 k8s-node2
    ○ 10.x.x.115 k8s-client
    10.5.6.120 k8s-master 这个是master的vip

  2. 修改主机名（所有节点）

    hostnamectl set-hostname <hostname>
如：hostnamectl set-hostname k8s-master1

  3. 修改hosts文件

    cat << EOF >> /etc/hosts

    复制粘贴以下内容

    10.x.x.110 k8s-master1
10.x.x.111 k8s-master2
10.x.x.112 k8s-master3
10.x.x.113 k8s-node1
10.x.x.114 k8s-node2
10.x.x.115 k8s-client
EOF

  4. 安装常用基础包vim，wget，yum-utils，device-mapper-persistent-data，lvm2，bash-completion

    yum install -y vim wget yum-utils device-mapper-persistent-data lvm2 bash-completion
source /etc/profile.d/bash_completion.sh

  5. 关闭防火墙

    systemctl stop firewalld
systemctl disable firewalld

  6. 将SELINUX=enforcing修改成SELINUX=disabled

    setenforce 0
sed -i 's/SELINUX=.*/SELINUX=disabled/g' /etc/selinux/config

  7. 关闭swap文件

    swapoff -a
sed -i.bak '/swap/s/^/#/' /etc/fstab

  8. 免密登陆

    1. 在第一个节点执行：

      ssh-keygen -t rsa

      回车回车到结束

    2. 秘钥同步至其他节点

      ssh-copy-id -i /root/.ssh/id_rsa.pub root@<其他节点>

    3. 免密登陆测试
      第一个节点执行
      ssh <其他节点的ip>
      ssh <其他节点的hostname>

安装docker（所有节点）

方法略

安装keepalived(3台master节点)

  1. 安装
    yum -y install keepalived

  2. 修改配置文件
    配置文件路径：/etc/keepalived/keepalived.conf
    master1配置文件内容：

    ! Configuration File for keepalived
global_defs {
  router_id master1
}

vrrp_instance VI_1 {
    state MASTER
    interface ens160
    virtual_router_id 51
    priority 102
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        10.5.6.120
    }
}

    master2配置文件内容：

    ! Configuration File for keepalived
global_defs {
   router_id master2
}
vrrp_instance VI_1 {
    state BACKUP
    interface ens160
    virtual_router_id 51
    priority 101
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        10.5.6.120
    }
}

    master3配置文件内容：

    ! Configuration File for keepalived
global_defs {
   router_id master3
}
vrrp_instance VI_1 {
    state BACKUP
    interface ens160
    virtual_router_id 51
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        10.5.6.120
    }
}
    1. 然后启动并开机自启动keepalived
      service keepalived start && systemctl enable keepalived
    2. 查看vip是否生效
      ip a

k8s安装前的准备工作（所有节点）

  1. 内核参数修改

    cat <<EOF >  /etc/sysctl.d/k8s.conf

    复制粘贴以下内容：

    net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF

    然后执行：

    sysctl -p /etc/sysctl.d/k8s.conf

  2. 修改Cgroup Driver
    说明：修改cgroupdriver是为了消除告警：

    [WARNING IsDockerSystemdCheck]: detected "cgroupfs" as the Docker cgroup driver. The recommended driver is "systemd". Please follow the guide at https://kubernetes.io/docs/setup/cri/

  3. 新增"exec-opts": [“native.cgroupdriver=systemd”]

    vim /etc/docker/daemon.json

    内容如下：

    {
    "registry-mirrors": ["https://v16stybc.mirror.aliyuncs.com"],
    "exec-opts": ["native.cgroupdriver=systemd"]
}

  4. 重新加载docker

    systemctl daemon-reload && systemctl restart docker

  5. 设置kubernetes源
    还是因为中国特色网络，官方仓库无法使用，我们需要使用阿里源的仓库：

    cat <<EOF > /etc/yum.repos.d/kubernetes.repo

    复制粘贴以下内容：

    [kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

    然后，执行：

    yum clean all && yum -y makecache

安装k8s（所有节点）

  1. 安装k8s组件
    查看一下版本：

    yum list kubelet --showduplicates | sort -r

    安装

    yum install -y kubelet-1.16.4 kubeadm-1.16.4 kubectl-1.16.4

  2. 启动kubelet并设置开机启动

    systemctl enable kubelet && systemctl start kubelet

  3. kubelet命令补全

    echo "source <(kubectl completion bash)" >> ~/.bash_profile
source .bash_profile

  4. 编辑下载镜像的脚本
    vi image.sh
    内容如下：

    #!/bin/bash
url=registry.cn-hangzhou.aliyuncs.com/loong576
version=v1.16.4
images=(`kubeadm config images list --kubernetes-version=$version|awk -F '/' '{print $2}'`)
for imagename in ${images[@]} ; do
  docker pull $url/$imagename
  docker tag $url/$imagename k8s.gcr.io/$imagename
  docker rmi -f $url/$imagename
done

  5. 执行脚本image.sh

    chmod u+x image.sh
./image.sh

初始化Master(仅在master1节点执行)

  1. 创建kubeadm-config.yaml文件
    内容如下：

    apiVersion: kubeadm.k8s.io/v1beta2
kind: ClusterConfiguration
kubernetesVersion: v1.16.4
apiServer:
  certSANs:    #填写所有kube-apiserver节点的hostname、IP、VIP
  - k8s-master1
  - k8s-master2
  - k8s-master3
  - k8s-node1
  - k8s-node2
  - 10.x.x.110
  - 10.x.x.111
  - 10.x.x.112
  - 10.x.x.113
  - 10.x.x.114
  - 10.x.x.120
controlPlaneEndpoint: "10.5.6.120:6443"
networking:
  podSubnet: "10.244.0.0/16"

  2. 初始化

    kubeadm init --config=kubeadm-config.yaml

    执行后，会显示以下内容：（只截取最后的一部分）

    	[bootstrap-token] configured RBAC rules to allow the csrapprover controller automatically approve CSRs from a Node Bootstrap Token
	[bootstrap-token] configured RBAC rules to allow certificate rotation for all node client certificates in the cluster
	[bootstrap-token] Creating the "cluster-info" ConfigMap in the "kube-public" namespace
	[addons] Applied essential addon: CoreDNS
	[addons] Applied essential addon: kube-proxy
	
	Your Kubernetes control-plane has initialized successfully!
	
	To start using your cluster, you need to run the following as a regular user:
	
	  mkdir -p $HOME/.kube
	  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
	  sudo chown $(id -u):$(id -g) $HOME/.kube/config
	
	You should now deploy a pod network to the cluster.
	Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
	  https://kubernetes.io/docs/concepts/cluster-administration/addons/
	
	You can now join any number of control-plane nodes by copying certificate authorities 
	and service account keys on each node and then running the following as root:
	
	  kubeadm join 10.5.6.120:6443 --token zqzg3y.721luyto6duvql0i \
	    --discovery-token-ca-cert-hash sha256:15cffc00cab1551056c5bfacd3c13628060be2a9f9d268edc9b188d19b9cbc23 \
	    --control-plane       
	
	Then you can join any number of worker nodes by running the following on each as root:
	
	kubeadm join 10.5.6.120:6443 --token zqzg3y.721luyto6duvql0i \
   --discovery-token-ca-cert-hash sha256:15cffc00cab1551056c5bfacd3c13628060be2a9f9d268edc9b188d19b9cbc23

    如果初始化失败，可执行kubeadm reset后重新初始化

    kubeadm reset
rm -rf $HOME/.kube/config

  3. 加载环境变量

    # echo "export KUBECONFIG=/etc/kubernetes/admin.conf" >> ~/.bash_profile

    source .bash_profile

  4. 安装pod网络

    kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/2140ac876ef134e0ed5af15c65e414cf26827915/Documentation/kube-flannel.yml

    注意：由于国内网络垃圾，需要修改hosts文件，添加dns解析。去www.ipaddress.com上查看raw.githubusercontenet.com的真实ip。

control plane节点加入集群

  1. 在master01上运行脚本cert-main-master.sh，将证书分发至master02和master03

    vi cert-main-master.sh

    cert-main-master.sh内容如下：

    USER=root # customizable
CONTROL_PLANE_IPS="10.5.6.111 10.5.6.112"
for host in ${CONTROL_PLANE_IPS}; do
    scp /etc/kubernetes/pki/ca.crt "${USER}"@$host:
    scp /etc/kubernetes/pki/ca.key "${USER}"@$host:
    scp /etc/kubernetes/pki/sa.key "${USER}"@$host:
    scp /etc/kubernetes/pki/sa.pub "${USER}"@$host:
    scp /etc/kubernetes/pki/front-proxy-ca.crt "${USER}"@$host:
    scp /etc/kubernetes/pki/front-proxy-ca.key "${USER}"@$host:
    scp /etc/kubernetes/pki/etcd/ca.crt "${USER}"@$host:etcd-ca.crt
    # Quote this line if you are using external etcd
    scp /etc/kubernetes/pki/etcd/ca.key "${USER}"@$host:etcd-ca.key
done

    执行脚本：

    chmod u+x cert-main-master.sh
./cert-main-master.sh

  2. 在master02上运行脚本cert-other-master.sh，将证书移至指定目录

    vi cert-other-master.sh

    内容如下：

    USER=root # customizable
mkdir -p /etc/kubernetes/pki/etcd
mv /${USER}/ca.crt /etc/kubernetes/pki/
mv /${USER}/ca.key /etc/kubernetes/pki/
mv /${USER}/sa.pub /etc/kubernetes/pki/
mv /${USER}/sa.key /etc/kubernetes/pki/
mv /${USER}/front-proxy-ca.crt /etc/kubernetes/pki/
mv /${USER}/front-proxy-ca.key /etc/kubernetes/pki/
mv /${USER}/etcd-ca.crt /etc/kubernetes/pki/etcd/ca.crt
# Quote this line if you are using external etcd
mv /${USER}/etcd-ca.key /etc/kubernetes/pki/etcd/ca.key

    执行脚本

    chmod u+x cert-other-master.sh
./cert-other-master.sh

  3. 在master03上也运行脚本cert-other-master.sh
    代码略

  4. 在master01节点执行：
    查看令牌
    bash kubeadm token list
    如果，发现之前初始化时的令牌已过期，就需要生成新的令牌：

    kubeadm token create

    内容为：mvffkl.66vjzkkibm2uv9ri

  5. 生成新的加密串

    openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null |    openssl dgst -sha256

    内容为：15cffc00cab1551056c5bfacd3c13628060be2a9f9d268edc9b188d19b9cbc23

  6. master02加入集群（在master02上执行）

    kubeadm join 10.5.6.120:6443 --token mvffkl.66vjzkkibm2uv9ri \
    --discovery-token-ca-cert-hash sha256:15cffc00cab1551056c5bfacd3c13628060be2a9f9d268edc9b188d19b9cbc23 \
    --control-plane

    成功执行后，有以下提示（只截取最后面的一部分）
    在这里插入图片描述

  7. master03加入集群（在master03上执行）
    操作与上面的一样，这里略。

  8. 为了在master02和master03上也能执行kubectl命令，master02和master03加载环境变量（以下3条命令分别在master02，master03上执行）

    scp k8s-master1:/etc/kubernetes/admin.conf /etc/kubernetes/
echo "export KUBECONFIG=/etc/kubernetes/admin.conf" >> ~/.bash_profile
source .bash_profile

  9. 集群节点查看
    kubectl get nodes
    在这里插入图片描述
    所有control plane节点处于ready状态，

     ```bash
 kubectl get pod -o wide -n kube-system
 ```
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/20200525111820428.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZseWhvcnN0YXI=,size_16,color_FFFFFF,t_70)
 所有的系统组件也正常。

node节点加入集群

  1. 分别在2个node节点执行

    kubeadm join 10.x.x.120:6443 --token mvffkl.66vjzkkibm2uv9ri \
--discovery-token-ca-cert-hash sha256:15cffc00cab1551056c5bfacd3c13628060be2a9f9d268edc9b188d19b9cbc23

    成功执行后，有以下显示：
    在这里插入图片描述

  2. 再查看一下集群节点

    kubectl get nodes

    NAME       STATUS     ROLES    AGE     VERSION
	master01   Ready      master   33m     v1.16.4
	master02   Ready      master   9m24s   v1.16.4
	master03   Ready      master   8m11s   v1.16.4
	work01     Ready      <none>   54s     v1.16.4
	work02     NotReady   <none>   9s      v1.16.4
	work03     NotReady   <none>   4s      v1.16.4

client配置

mkdir -p /etc/kubernetes
scp 10.x.x.110:/etc/kubernetes/admin.conf /etc/kubernetes/
echo "export KUBECONFIG=/etc/kubernetes/admin.conf" >> ~/.bash_profile
source .bash_profile
kubectl get nodes
kubectl get cs
kubectl get po -o wide -n kube-system
大风哥的博客
关注
  • 0
    点赞
  • 踩
  • 18
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
K8s集群环境搭建
qq_58733916的博客
11-18 1125
K8s集群环境搭建
用kubeadm方式部署k8s
02-11
Kubernetes（简称k8s）是Google开源的一种容器编排系统，用于自动化容器化的应用程序部署、扩展和管理。kubeadm是Kubernetes提供的一种简单、可靠的方式来在集群中初始化节点和搭建控制平面，使得部署Kubernetes变得...
生产环境部署高可用 Kubernetes 集群
weixin_48505120的博客
11-13 1273
下面是 kubernetes 官网的集群架构图 The kubeadm method is used to build a high-availability k8s cluster. The high availability of the k8s cluster is actually the high availability of the core components of k8s. This deployment adopts the active-standby mode. The archi
k8s1.15安装详细精华版（环境准备、etcd集群安装、harbor私服搭建、高可用集群部署）
最美dee时光的博客
04-28 1656
一、环境准备 1、硬件配置 192.168.137.11 CentOS7.7.1908 2核2G+50G存储 192.168.137.12 CentOS7.7.1908 2核2G+50G存储 192.168.137.13 CentOS7.7.1908 2核2G+50G存储 192.168.137.14 Cent...
使用kubespray部署k8s生产环境
最新发布
神棍之路
06-05 945
Kubespray 是一个开源项目，它利用 Ansible Playbook 来自动化部署 Kubernetes 集群。支持多种基础设施：可以部署在 AWS, GCE, Azure, OpenStack 以及裸机上。高可用性：支持部署高可用的 Kubernetes 集群。可组合性：用户可以选择不同的网络插件（如 flannel, calico, canal, weave）来部署。支持多种 Linux 发行版。
云原生之史上最全K8S环境搭建(强烈建议收藏）
热门推荐
CSDN新星计划JAVA赛道TOP5、CSDN内容合伙人、JAVA领域优质创作者、资深JAVA开发深耕JAVA领域。
09-03 1万+
云原生之史上最全K8S环境搭建(强烈建议收藏）
kubernetes(k8s)环境搭建及部署
海贼王的博客
01-15 6089
kubernetes(k8s)环境搭建及部署 文章目录kubernetes(k8s)环境搭建及部署前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。
生产环境 kubeadm部署k8s
04-09
生产环境 kubeadm部署k8s 包括master高可用
阿里云k8s 一键部署nacos2.0.3
01-10
阿里云Kubernetes（简称k8s）是一款强大的容器编排系统，它可以帮助用户轻松管理和部署分布式应用。Nacos是阿里巴巴开源的一款动态服务发现、配置管理和服务管理平台，它为微服务架构提供了关键的支持。在本场景中，...
二进制部署k8s高可用集群（二进制-V1.20）.docx
06-29
1. 生产环境部署 K8s 集群的两种方式 在生产环境中，部署 K8s 集群有两种方式：一种是使用二进制方式，另一种是使用容器方式。二进制方式是使用二进制文件来部署 K8s 集群，而容器方式是使用容器来部署 K8s 集群。...
k8s 二进制部署 .pdf
12-08
在本文中，我们将深入探讨如何使用二进制方式部署高可用 Kubernetes (k8s) 集群。根据提供的信息，我们将在六台机器上进行部署：两台 Master 节点，两台 Node 节点，以及两台运行 Nginx 和 Keepalived 的服务器，...
k8s部署的4方案
m0_55877125的博客
04-06 3147
k8s部署方案
k8s部署之kubesphere安装与生产配置使用教程(问题整合,持续更新)
Sunshine_Mr_Sun的博客
06-06 6058
KubeSphere 是在 Kubernetes 之上构建的以应用为中心的多租户容器平台,提供全栈的 IT 自动化运维的能力,简化企业的 DevOps 工作流。KubeSphere 提供了运维友好的向导式操作界面,帮助企业快速构建...本文采用的kk(KubeKey)工具进行kubesphere及k8s安装，笔者已在生产和VM成功部署使用，请放心使用哦~享受优质模板进行阅读~点击。
容器集群k8s从入门到精通之kubernates介绍（第一章）
梦溪笔谈的博客
07-29 1356
第一章 kubernetes介绍 本章节主要介绍应用程序在服务器上部署方式演变以及kubernetes的概念、组件和工作原理。 应用部署方式演变 在部署应用程序的方式上，主要经历了三个时代： 传统部署：互联网早期，会直接将应用程序部署在物理机上 优点：简单，不需要其它技术的参与 缺点：不能为应用程序定义资源使用边界，很难合理地分配计算资源，而且程序之间容易产生影响 虚拟化部署：可以在一台物理机上运行多个虚拟机，每个虚拟机都是独立的一个环境 优点：程序环境不会相互产生影响，提供了一定程度的安全性
最新的k8s生产环境部署（k8s1.25+containerd+ubuntu20.04）
u012735308的博客
09-26 5897
最新的k8s生产环境部署，使用k8s1.25、containerd、Ubuntu20.04
手把手教你生产环境部署k8s
Alan的博客
10-16 192
详细的操作步骤和样例脚本让大家快速熟悉以及搭建生产k8s环境，此外还包含了集群的一些管理工具安装步骤，帮助大家快速管理和上手使用，希望可以帮助到大家。
Kubernetes 生产环境部署微服务 Spring Cloud
IoTHub - 物联网开源技术社区
02-06 1004
Kubernetes 使用 Helm 在生产环境部署微服务 Spring Cloud。
k8s集群部署——k8s简介和环境部署
m0_49265034的博客
10-10 1012
kubernetes，简称K8s，是用8代替8个字符“ubernete”而成的缩写。是一个==开源的，用于管理云平台中多个主机上的容器化的应用==，Kubernetes的目标是让部署容器化的应用简单并且高效（powerful）,Kubernetes提供了应用部署，规划，更新，维护的一种机制。
k8s部署的四种方案
weixin_64811434的博客
12-04 4772
k8s部署的四种方案
k8s集群生产环境部署推荐
05-30
在Kubernetes集群的生产环境中，部署应该遵循以下的最佳实践： 1. 选择合适的网络插件：Kubernetes支持多种网络插件，如Flannel、Calico、Weave Net等。需要根据自己的网络环境和需求选择最合适的网络插件。 2. ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值