Kubernetes集群搭建

已于 2024-05-11 20:59:00 修改
阅读量1.6k 收藏 12
点赞数 2
分类专栏： Kubernetes 文章标签： kubernetes linux docker
于 2021-12-29 14:21:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_25854057/article/details/122202397
版权

Kubernetes 是一个可移植的、可扩展的开源平台，用于管理容器化的工作负载和服务，可促进声明式配置和自动化。 Kubernetes 拥有一个庞大且快速增长的生态系统。Kubernetes 的服务、支持和工具广泛可用。

在这里插入图片描述

一、服务器配置

在开始部署k8s集群之前，服务器需要满足以下条件：

  • 一台或多台服务器，操作系统CentOS 7.x-86_x64
  • 硬盘配置：内存2GB或更多，CPU2核或更多，硬盘30GB或更多
  • 集群中的所有机器之间网络互通。
  • 可以访问外网，需要拉取镜像
  • 禁止swap分区

二、环境初始化

2.1 环境准备

角色ip
loc-k8s-master10.10.1.23
loc-k8s-node110.10.1.24
loc-k8s-node210.10.1.25

2.2 系统初始化

2.2.1 关闭防火墙
# systemctl stop firewalld
# systemtctl disable firewalld
2.2.2 关闭selinux
# setenforce 0   # 临时关闭
# sed -i 's/enforcing/disabled/' /etc/selinux/config
2.2.3 关闭swap分区
# swapoff -a     # 临时关闭
# sed -ri 's/.*swap.*/#&/' /etc/fstab
2.2.4 配置主机名

主机名配置不能有 _ ,否则k8s初始化会报错

# hostnamectl set-hostname loc-k8s-master           # 10.10.1.23
# hostnamectl set-hostname loc-k8s-node1            # 10.10.1.23
# hostnamectl set-hostname loc-k8s-node2            # 10.10.1.23
2.2.5 节点上添加hosts

每个节点上都添加

# vim /etc/hosts
10.10.1.23    loc-k8s-master
10.10.1.24    loc-k8s-node1
10.10.1.25    loc-k8s-node2
2.2.6 配置内核参数

将桥接的IPv4流量传递到iptables的链，每个节点添加如下命令

cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
vm.swappiness = 0
EOF

内核配置生效

# sysctl --system

加载br_netfilter模块

# modprobe br_netfilter
# lsmod | grep br_netfilter     # 查看是否加载
2.2.7 时间同步
# systemctl start chronyd
# systemctl enable chronyd
2.2.8 开启ipvs

在每个节点安装ipset和ipvsadm

# yum -y install ipset ipvsadm

在所有节点执行如下脚本

cat > /etc/sysconfig/modules/ipvs.modules <<EOF
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF

授权、运行、检查是否加载

# chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4

检查是否加载：

# lsmod | grep -e ipvs -e nf_conntrack_ipv4

三、kubeadm部署k8s

3.1 概述

kubeadm是官方社区推出的一个用于快速部署k8s集群的工具，这个工具能通过两个命令完成一个k8s集群的部署。

  • 创建master节点：
kubeadm init
  • 将Node节点加入到当前集群中：
kubeadm join <master节点的IP和端口>

3.2 安装Docker

Kubernetes默认CRI（容器运行时）为Docker，因此需要先安装Docker。

  • 安装Docker
# wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O /etc/yum.repos.d/docker-ce.repo
# yum -y install docker-ce-18.06.3.ce-3.el7
# systemctl enable docker && systemctl start docker
  • 添加阿里云仓库加速器
# mkdir -p /etc/docker
# tee /etc/docker/daemon.json <<-'EOF'
{
  "exec-opts": ["native.cgroupdriver=systemd"],        # 这里跟下面的kubelet cgroup对应
  "registry-mirrors": ["https://fl791z1h.mirror.aliyuncs.com"]
}
EOF
# systemctl daemon-reload
# systemctl restart docker

3.3 添加阿里k8s yum源

cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

3.4 安装kubeadm、kubelet和kubectl

在所有节点安装，由于版本更新频繁，这里指定版本号部署

# yum install -y kubelet-1.18.0 kubeadm-1.18.0 kubectl-1.18.0

为了实现Docker使用的cgroup drvier和kubelet使用的cgroup drver一致，建议修改/etc/sysconfig/kubelet文件的内容

# vim /etc/sysconfig/kubelet
KUBELET_EXTRA_ARGS="--cgroup-driver=systemd"

由于没有生成配置文件，集群初始化后自动启动

# systemctl enable kubelet

3.5 初始化master节点

由于 kubeadm 默认从官网 k8s.grc.io下载所需镜像，国内无法访问，因此需要通过–image-repository指定阿里云镜像仓库地址

# kubeadm init \
  --apiserver-advertise-address=10.10.1.23 \
  --image-repository registry.aliyuncs.com/google_containers \
  --kubernetes-version v1.18.0 \
  --service-cidr=172.16.0.0/24 \
  --pod-network-cidr=172.16.100.0/24

初始化成功后输出信息


Your Kubernetes control-plane has initialized successfully!

To start using your cluster, you need to run the following as a regular user:

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  https://kubernetes.io/docs/concepts/cluster-administration/addons/

Then you can join any number of worker nodes by running the following on each as root:

kubeadm join 10.10.1.23:6443 --token pccp5o.756icansalz05vp3 \
    --discovery-token-ca-cert-hash sha256:91f9830b8678d722454f467d5cd761f359d04bbb5b21fa80588680f048f5c51b

根据提示创建kubectl

# mkdir -p $HOME/.kube
# cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
# chown $(id -u):$(id -g) $HOME/.kube/config
# kubectl get nodes

3.6 添加node节点

在所有node节点执行如下命令，添加进k8s集群

# kubeadm join 10.10.1.23:6443 --token pccp5o.756icansalz05vp3 \
    --discovery-token-ca-cert-hash sha256:91f9830b8678d722454f467d5cd761f359d04bbb5b21fa80588680f048f5c51b

默认的token有效期为24小时，当过期之后，该token就不能用了，这时可以使用如下的命令创建token

# kubeadm token create --print-join-command

生成一个永不过期的token

# kubeadm token create --ttl 0

3.7 部署calico网络组件

Kubernetes跨主机容器之间的通信组件，目前主流的是flannel和calico。calico经常更新，所以大家可以直接按照版本在官网查询下载。calico官网

# kubectl apply -f https://docs.projectcalico.org/archive/v3.19/manifests/calico.yaml
configmap/calico-config created
customresourcedefinition.apiextensions.k8s.io/bgpconfigurations.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/bgppeers.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/blockaffinities.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/clusterinformations.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/felixconfigurations.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/globalnetworkpolicies.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/globalnetworksets.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/hostendpoints.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/ipamblocks.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/ipamconfigs.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/ipamhandles.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/ippools.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/networkpolicies.crd.projectcalico.org created
customresourcedefinition.apiextensions.k8s.io/networksets.crd.projectcalico.org created
clusterrole.rbac.authorization.k8s.io/calico-kube-controllers created
clusterrolebinding.rbac.authorization.k8s.io/calico-kube-controllers created
clusterrole.rbac.authorization.k8s.io/calico-node created
clusterrolebinding.rbac.authorization.k8s.io/calico-node created
daemonset.apps/calico-node created
serviceaccount/calico-node created
deployment.apps/calico-kube-controllers created
serviceaccount/calico-kube-controllers created

查看部署网络插件速度

# kubectl get pods -n kube-system

查看集群pod和node

# kubectl get pod --all-namespaces
NAMESPACE              NAME                                        READY   STATUS    RESTARTS   AGE
kube-system            calico-kube-controllers-7f94cf5997-hfbc5    1/1     Running   0          15h
kube-system            calico-node-4zczd                           1/1     Running   0          15h
kube-system            calico-node-fp4pp                           1/1     Running   0          15h
kube-system            calico-node-zft5q                           1/1     Running   0          15h
kube-system            coredns-7ff77c879f-4fgcj                    1/1     Running   2          23h
kube-system            coredns-7ff77c879f-hcs55                    1/1     Running   2          23h
kube-system            etcd-loc-k8s-master                         1/1     Running   3          23h
kube-system            kube-apiserver-loc-k8s-master               1/1     Running   3          23h
kube-system            kube-controller-manager-loc-k8s-master      1/1     Running   2          17h
kube-system            kube-proxy-58xv5                            1/1     Running   2          23h
kube-system            kube-proxy-rt7p9                            1/1     Running   0          20h
kube-system            kube-proxy-z7j5v                            1/1     Running   0          20h
kube-system            kube-scheduler-loc-k8s-master               1/1     Running   3          23h
kubernetes-dashboard   dashboard-metrics-scraper-dc6947fbf-5vx94   1/1     Running   0          15h
kubernetes-dashboard   kubernetes-dashboard-5d4dc8b976-7xd4q       1/1     Running   0          15h

# kubectl get node
NAME             STATUS   ROLES    AGE   VERSION
loc-k8s-master   Ready    master   23h   v1.18.0
loc-k8s-node1    Ready    <none>   20h   v1.18.0
loc-k8s-node2    Ready    <none>   20h   v1.18.0

四、控制台部署

4.1 安装kubernetes-dashboard

官方部署dashboard的服务没使用nodeport，将yaml文件下载到本地，在service里添加nodeport

# wget  https://raw.githubusercontent.com/kubernetes/dashboard/v2.0.0-rc7/aio/deploy/recommended.yaml

# vim recommended.yaml
......
kind: Service
apiVersion: v1
metadata:
  labels:
    k8s-app: kubernetes-dashboard
  name: kubernetes-dashboard
  namespace: kubernetes-dashboard
spec:
  type: NodePort                       # 添加这个
  ports:
    - port: 443
      targetPort: 8443
      nodePort: 30000                  # 添加项
  selector:
    k8s-app: kubernetes-dashboard
......

应用该文件

# kubectl create -f recommended.yaml
namespace/kubernetes-dashboard created
serviceaccount/kubernetes-dashboard created
service/kubernetes-dashboard created
secret/kubernetes-dashboard-certs created
secret/kubernetes-dashboard-csrf created
secret/kubernetes-dashboard-key-holder created
configmap/kubernetes-dashboard-settings created
role.rbac.authorization.k8s.io/kubernetes-dashboard created
clusterrole.rbac.authorization.k8s.io/kubernetes-dashboard created
rolebinding.rbac.authorization.k8s.io/kubernetes-dashboard created
clusterrolebinding.rbac.authorization.k8s.io/kubernetes-dashboard created
deployment.apps/kubernetes-dashboard created
service/dashboard-metrics-scraper created
deployment.apps/dashboard-metrics-scraper created

查看集群状态

# kubectl get pod -n kubernetes-dashboard -o wide
NAME                                        READY   STATUS    RESTARTS   AGE   IP              NODE            NOMINATED NODE   READINESS GATES
dashboard-metrics-scraper-dc6947fbf-5vx94   1/1     Running   0          15h   172.16.100.65   loc-k8s-node1   <none>           <none>
kubernetes-dashboard-5d4dc8b976-7xd4q       1/1     Running   0          15h   172.16.100.66   loc-k8s-node1   <none>           <none>

# kubectl get svc -n kubernetes-dashboard
NAME                        TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)         AGE
dashboard-metrics-scraper   ClusterIP   172.16.0.166   <none>        8000/TCP        15h
kubernetes-dashboard        NodePort    172.16.0.234   <none>        443:30000/TCP   15h

4.2 浏览器访问

  • https://10.10.1.23:30000，页面访问，使用token登录。
    在这里插入图片描述
  • token 使用如下方式获取
# kubectl describe secrets -n kubernetes-dashboard kubernetes-dashboard  | grep token | awk 'NR==3{print $2}'

登录后如下展示，如果没有namespace可选，并且提示找不到资源 ，那么就是权限问题

# kubectl logs -f -n kubernetes-dashboard kubernetes-dashboard-5d4dc8b976-7xd4q
......
2021/12/28 12:21:02 [2021-12-28T12:21:02Z] Incoming HTTP/2.0 GET /api/v1/replicaset/default?itemsPerPage=10&page=1&sortBy=d,creationTimestamp request from 172.16.100.192:4683: 
2021/12/28 12:21:02 Non-critical error occurred during resource retrieval: configmaps is forbidden: User "system:serviceaccount:kubernetes-dashboard:kubernetes-dashboard" cannot list resource "configmaps" in API group "" in the namespace "default"
2021/12/28 12:21:02 Getting list of all jobs in the cluster
2021/12/28 12:21:02 [2021-12-28T12:21:02Z] Outcoming response to 172.16.100.192:4683 with 200 status code
2021/12/28 12:21:02 Getting list of secrets in &{[default]} namespace
2021/12/28 12:21:02 Non-critical error occurred during resource retrieval: jobs.batch is forbidden: User "system:serviceaccount:kubernetes-dashboard:kubernetes-dashboard" cannot list resource "jobs" in API group "batch" in the namespace "default"
2021/12/28 12:21:02 Non-critical error occurred during resource retrieval: pods is forbidden: User "system:serviceaccount:kubernetes-dashboard:kubernetes-dashboard" cannot list resource "pods" in API group "" in the namespace "default"
2021/12/28 12:21:02 Non-critical error occurred during resource retrieval: events is forbidden: User "system:serviceaccount:kubernetes-dashboard:kubernetes-dashboard" cannot list resource "events" in API group "" in the namespace "default"
2021/12/28 12:21:02 Non-critical error occurred during resource retrieval: cronjobs.batch is forbidden: User "system:serviceaccount:kubernetes-dashboard:kubernetes-dashboard" cannot list resource "cronjobs" in API group "batch" in the namespace "default"
2021/12/28 12:21:02 Non-critical error occurred during resource retrieval: secrets is forbidden: User "system:serviceaccount:kubernetes-dashboard:kubernetes-dashboard" cannot list resource "secrets" in API group "" in the namespace "default"
2021/12/28 12:21:02 Non-critical error occurred during resource retrieval: persistentvolumeclaims is forbidden: User "system:serviceaccount:kubernetes-dashboard:kubernetes-dashboard" cannot list resource "persistentvolumeclaims" in API group "" in the namespace "default"
2021/12/28 12:21:02 Non-critical error occurred during resource retrieval: services is forbidden: User "system:serviceaccount:kubernetes-dashboard:kubernetes-dashboard" cannot list resource "services" in API group "" in the namespace "default"
2021/12/28 12:21:02 [2021-12-28T12:21:02Z] Outcoming response to 172.16.100.192:4683 with 200 status code
2021/12/28 12:21:02 [2021-12-28T12:21:02Z] Incoming HTTP/2.0 GET /api/v1/replicationcontroller/default?itemsPerPage=10&page=1&sortBy=d,creationTimestamp request from 172.16.100.192:4683: 
2021/12/28 12:21:02 [2021-12-28T12:21:02Z] Outcoming response to 172.16.100.192:4683 with 200 status code
......

4.3 添加dashboard访问权限

根据上面报错，解决 dashboard 用户权限问题

# kubectl create clusterrolebinding serviceaccount-cluster-admin --clusterrole=cluster-admin --user=system:serviceaccount:kubernetes-dashboard:kubernetes-dashboard

# 上面添加错误的话，可以使用如下方式进行删除
# kubectl delete clusterrolebinding serviceaccount-cluster-admin
clusterrolebinding.rbac.authorization.k8s.io/serviceaccount-cluster-admin created

再次刷新界面后，即可看到有资源展示
在这里插入图片描述

Reference

小王格子
关注
  • 2
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Kubernetes集群搭建：基于Kubeadm
02-24
*K8S版本为15.1*Docker版本最高支持18.06.11，清除原Docker环境，原版本为最新版2，如果清除后依旧包冲突错误通过yum命令手动移除冲突包3，安装18.06.1版本Docker1，基础环境准备a，机器节点准备，虚拟机搭建，内存不够，host名称只支持[-.]两个特殊符号b，/etc/hosts文件设置*添加命令*hosts文件配置如下c，配置时间同步，使用chrony同步时间，配置master节点与网络NTP服务器同步时间，所有node节点与master节点同步时间*配置Master节点*配置Node节点*所有节点执行chronycsources命令，查看存在以^*开头的
【详细教程】Kubernetes集群部署：使用kubeadm创建集群
STRANGEX-03的博客
02-02 1912
根据官方文档，总共有三种使用部署工具安装kubernetes的方式，分别是使用kubeadm 引导集群、使用kOps安装 Kubernetes、使用Kubespray安装 Kubernetes。在本次部署设计中，采用kubeadm引导集群的方式，主要运用了安装kubeadm、对kubeadm进行故障排查、使用kubeadm创建集群。目标是要安装单个控制平面的Kubernetes集群，在集群上安装Pod网络，以便Pod可以相互连通。
K8s集群搭建
最新发布
FORLOVEHUAN的博客
06-06 985
K8s集群由多个节点组成，其中包括主节点（Master）和工作节点（Worker）。主节点负责管理整个集群的状态和配置信息，工作节点用于运行容器应用程序。
Kubernetes集群搭建以及基本使用【具详细】；
qq_44930876的博客
06-25 4381
Kubernetes集群搭建以及基本使用【具详细】；
【kubernetes】k8s集群搭建（完整详解）
wei的博客
10-02 1万+
k8s集群搭建，并拉取Nginx镜像进行配置，k8s安装，docker安装，解决untime network not ready: NetworkReady=false reason:NetworkPluginNotReady message:docker: network plugin is not ready: cni config uninitialized
Kubernetes集群环境搭建详细教程（一主两从）
weixin_47976194的博客
12-07 1320
k8s搭建集群 一主两从
Kubernetes（K8S）集群搭建基础入门教程
养歌的博客
07-18 6379
K8s操作命令还有很多，这里我转载了一位博主的文章，对于K8s操作命令讲解的很全面，看这篇文章就足够了linkhttpshttpshttpshttpshttpshttpshttpshttpshttpshttpshttpshttpshttpshttpshttpshttpshttpshttpshttpshttpshttpshttpshttpshttpshttpshttpshttpshttpshttpshttpshttpshttpshttps。............
Kubernetes（k8s）集群搭建，完整无坑，不需要科学上网~
秃了也弱了
07-03 4642
k8s集群，每一台机器需要2核CPU+2G的内存。此次我们会搭建一个master节点，两个worker节点。
Kubernetes集群搭建.doc
05-28
Kubernetes集群搭建手册，比网页版更加便携。
kubernetes集群搭建与jenkins搭建
06-20
kubernetes的搭建详细过程与jenkins的一些搭建过程及经验
5.2Kubernetes集群搭建-kubeadm.md
12-28
kubernetes的实用的kubeadm安装方式，快速简洁，中间踩到过的坑也都列出来，能快速部署成功，可应用于小型生产集群环境，同时后有kubernetes-dashboard的安装过程。
从零搭建Kubernetes集群
shandian811的专栏
07-08 554
一、搭建虚拟机 在VMvare中搭建好基于centos7的虚拟机三个节点，原则上配置不低于2核、2G内存、20G磁盘 配置好免密： step1、分别在三台机器上执行： ssh-keygen -t rsa 一路回车 step2、在node1上： cd ~/.ssh scp id_rsa.pub root@node2:/opt scp id_rsa.pub root@node3:/opt cd ~/.ssh 在node2上：cat /opt/id_rsa.pub >>
Kubernetes（k8s）超详细的安装步骤
热门推荐
wuds_158的博客
07-06 1万+
验证：kubectl get node。
K8s集群搭建教程
qq_44214446的博客
01-10 1万+
三台虚拟机搭建一个一主多从的kubernetes集群（超详细！！！）
k8s+docker集群整合搭建（完整版）
Isonion的博客
08-22 5195
首先，他是一个全新的基于容器技术的分布式架构领先方案。Kubernetes(k8s)是Google开源的容器集群管理系统（谷歌内部:Borg）。在Docker技术的基础上，为容器化的应用提供部署运行、资源调度、服务发现和动态伸缩等一系列完整功能，提了大规模容器集群管理的便捷性。
K8S基于Docker搭建集群
qq_28635931的博客
06-11 2354
k8s基于docker集群搭建
搭建Kubernetes的集群
weixin_44585705的博客
02-16 293
搭建Kubernetes的集群
kubernetes（k8s）集群环境搭建 超详细
weixin_50679936的博客
05-19 834
k8s集群搭建，跟着我的步骤百分百成功亲测！！！
Kubernetes(K8S)集群部署
路漫漫其修远兮，吾将上下而求索
09-14 6021
具体操作步骤可以参考之前的教程，建议是先安装一台，然后克隆虚拟机，这样速度快。注意：在克隆时记得修改Mac地址、IP地址、UUID和主机名。（最后别忘了保存下快照~）
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值