1 k8s集群搭建

已于 2023-09-06 19:51:01 修改
阅读量275 收藏
点赞数 2
分类专栏： k8s 文章标签： kubernetes 容器 云原生
于 2023-08-28 00:48:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34526237/article/details/132401888
版权

文章目录

前言

k8s集群搭建

一、前置准备

1.1 虚拟机准备

准备三台虚拟机，我这里准备了三台机器，

主机名内核版本系统版本ip
hadoop1Linux 3.10.0-1160.el7.x86_64CentOS Linux release 7.9.2009 (Core)192.168.184.129
hadoop2Linux 3.10.0-1160.el7.x86_64CentOS Linux release 7.9.2009 (Core)192.168.184.130
hadoop3Linux 3.10.0-1160.el7.x86_64CentOS Linux release 7.9.2009 (Core)192.168.184.131

机器之间可以免密登录，关闭防火墙，还有时间同步做好，关闭swap分区。

1.2 关闭swap分区

1.关闭swap分区
swapoff -a
2.修改 Swappiness
sudo vim /etc/fstab
注释掉以下这行
#/dev/sda2    none   swap   sw   0   0
4.使配置生效，不用重启
sysctl -p

1.3 将桥接的IPv4流量传递到iptables链

cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
vm.swappiness = 0
EOF


#加载br_netfilter模块
modprobe br_netfilter

#查看是否加载
lsmod | grep br_netfilter

#使生效
sysctl --system

#拓展：持久化修改（保留配置包本地文件，重启系统或服务进程仍然有效）
sysctl -p

1.4 开启ipvs

#在三台机器安装 ipset 和 ipvsadm ：
yum -y install ipset ipvsadm

#在三台机器执行如下脚本：
cat > /etc/sysconfig/modules/ipvs.modules <<EOF
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack
EOF

#授权、运行、检查是否加载：
chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4

二、容器化环境和组件安装

2.1 docker安装

代码如下（示例）：

#卸载旧版本docker（如有）
yum remove docker docker-client docker-client-latest docker-common docker-latest docker-latest-logrotate docker-logrotate docker-engine

# yum安装 gcc 相关软件，安装yum工具包
yum -y install gcc gcc-c++
yum -y install yum-utils

#设置阿里云的stable 镜像仓库
yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

#更新 yum 软件包索引
yum makecache fast

#安装指定版本的 Docker（v20.10.8）:
yum -y install docker-ce-3:20.10.8-3.el7.x86_64 docker-ce-cli-1:20.10.8-3.el7.x86_64 containerd.io

#启动docker并设置开机自启
systemctl start docker
systemctl enable docker

#验证 Docker 是否安装成功：
systemctl status docker
docker -v

2.2 设置docker加速镜像器

mkdir -p /etc/docker

#配置阿里云镜像加速：
tee /etc/docker/daemon.json <<-'EOF'
{
  "exec-opts": ["native.cgroupdriver=systemd"],	
  "registry-mirrors": [
    "https://du3ia00u.mirror.aliyuncs.com",
    "https://hub-mirror.c.163.com",
    "https://mirror.baidubce.com",
    "https://registry.docker-cn.com"
  ],
  "live-restore": true,
  "log-driver":"json-file",
  "log-opts": {"max-size":"500m", "max-file":"3"},
  "max-concurrent-downloads": 10,
  "max-concurrent-uploads": 5,
  "storage-driver": "overlay2"
}
EOF

#使之生效并重启docker
systemctl daemon-reload
systemctl restart docker

2.4 设置yum镜像源

cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF


#清除缓存并更新软件包列表
yum clean all
yum makecache
yum list

2.5 安装kubeadm、kubelet和kubectl

yum install -y kubelet-1.21.10 kubeadm-1.21.10 kubectl-1.21.10

#查看安装版本：
kubelet --version

为了实现Docker使用的cgroup drvier和kubelet使用的cgroup drver一致，修改"/etc/sysconfig/kubelet"文件为以下内容：

vi /etc/sysconfig/kubelet

# 修改为
KUBELET_EXTRA_ARGS="--cgroup-driver=systemd"
KUBE_PROXY_MODE="ipvs"

设置为开机自启动即可，由于没有生成配置文件，集群初始化后自动启动

systemctl enable kubelet

三、集群搭建

3.1 安装k8s所需镜像

docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kube-apiserver:v1.21.10
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kube-controller-manager:v1.21.10
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kube-scheduler:v1.21.10
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kube-proxy:v1.21.10
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.4.1
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/etcd:3.4.13-0
docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/coredns:v1.8.0

3.2 在hadoop1上部署master节点

kubeadm init \
  --apiserver-advertise-address=192.168.184.129 \
  --image-repository=registry.cn-hangzhou.aliyuncs.com/google_containers \
  --kubernetes-version=v1.21.10 \
  --service-cidr=10.96.0.0/16 \
  --pod-network-cidr=10.244.0.0/16

说明
apiserver-advertise-address =Master节点的 IP 地址。
image-repository=容器镜像的仓库地址。
kubernetes-version= 安装的kubernetes版本号。
service-cidr 和 apiserver-advertise-address 、pod-network-cidr 不能在同一个网络范围内。
不要使用 172.17.0.1/16 网段范围，因为这是 Docker 默认使用的。

.拷贝kubectl使用的连接k8s认证文件到默认路径，根据日志提示，想要开始使用集群，需要在 master节点机器上（192.168.184.129 ）执行如下命令在这里插入代码片

#创建目录存放 Kubernetes 的配置文件并配置 Kubernetes 客户端工具 kubectl
mkdir -p $HOME/.kube
cp -i /etc/kubernetes/admin.conf $HOME/.kube/config

#将 $HOME/.kube/config 文件的权限修改为当前用户
chown $(id -u):$(id -g) $HOME/.kube/config

# 如果是 root 用户，可以执行如下命令，在使用 kubectl 命令时就不需要每次都指定配置文件的路径
export KUBECONFIG=/etc/kubernetes/admin.conf

生成token并且加入集群

#生成token，有效期2小时
kubeadm token create --print-join-command

# 生成一个永不过期的token
kubeadm token create --ttl 0 --print-join-command

#此时系统自动生成了一个kubeadm join命令,这个命令是用来将一个新的节点加入到 Kubernetes 集群中的。说明：
kubeadm join 192.168.79.101:6443    ----集群的 API Server 地址
  --token y1aqpl.ktwweub0h338qh46   ----用来认证新节点的凭证
  --discovery-token-ca-cert-hash sha256:dca999e4b0fdd14b7e92a6ed3cd1fbfedad273ba409e0bc5a76ebc947bd1f3b2

使用永久token生成的指令如下

在这里插入图片描述

3.3 在hadoop2、hadoop3上执行加入集群命令

kubeadm join 192.168.184.129:6443  --token fuxv3x.x7wqzybg7bb9kzis --discovery-token-ca-cert-hash sha256:48b064411c32aa2b7b7291d27351dbd871c5c21ed569167f0d8901b4c6c1af72

在这里插入图片描述

3.4部署网络插件

Kubernetes 支持多种网络插件，比如 flannel、calico、canal 等，任选一种安装即可，这里选择 calico。在 master节点（192.168.184.129 ）上执行

kubectl apply -f https://projectcalico.docs.tigera.io/v3.19/manifests/calico.yaml

查看安装进度

kubectl get pods -n kube-system
#或者
watch kubectl get pods -n kube-system

在这里插入图片描述
状态都是ready安装成功。
此时查看节点状态都是安装好了。

kubectl get nodes

在这里插入图片描述

3.5 在hadoop1也就是master节点上设置 kube-proxy 的 ipvs 模式

kubectl edit cm kube-proxy -n kube-system

找到ipvs模块，将 mode: " " 双引号里面加上ipvs。
在这里插入图片描述

删除 kube-proxy ，让 Kubernetes 集群自动创建新的 kube-proxy

kubectl delete pod -l k8s-app=kube-proxy -n kube-system

3.6 node节点也能使用kubectl指令

在hadoop2、hadoop3上执行以下指令

mkdir -pv ~/.kube
touch ~/.kube/config

在hadoop1上拷贝配置文件到hadoop2、hadoop3

scp /etc/kubernetes/admin.conf root@hadoop2:~/.kube/config
scp /etc/kubernetes/admin.conf root@hadoop3:~/.kube/config

使用kubectl指令查看是否配置成功

kubectl get nodes

在这里插入图片描述

3.7 服务部署

1.部署nginx

kubectl create deployment nginx --image=nginx:1.14-alpine

2.暴露端口

kubectl expose deployment nginx --port=80 --type=NodePort
  1. 查看服务状态
kubectl get pods,svc

3.8安装自动补全

# 安装bash
yum -y install bash-completion


# 自动补全 
echo 'source <(kubectl completion bash)' >>~/.bashrc 
kubectl completion bash >/etc/bash_completion.d/kubectl
# 全局
kubectl completion bash | sudo tee /etc/bash_completion.d/kubectl > /dev/null
source /usr/share/bash-completion/bash_completion

3.9 安装dashboard

1.设置域名映射

sudo bash -c 'echo "151.101.64.133 raw.githubusercontent.com" >> /etc/hosts'

2.获取文件

wget https://raw.githubusercontent.com/kubernetes/dashboard/v2.0.4/aio/deploy/recommended.yaml

3.构建pod

kubectl apply -f recommended.yaml

在这里插入图片描述
4.查看pod状态

kubectl get pods --all-namespaces | grep dashboard
  1. 删除现有的 dashboard 服务
#查看所有命名空间namespace
kubectl get svc --all-namespaces

#删除现有dashboard服务
kubectl delete service kubernetes-dashboard --namespace=kubernetes-dashboard

3.10 登录dashboard

1.创建一个nodePort类型的kubernetes-dashboard。进入/etc/kubernetes 目录下创建配置文件dashboard-svc.yaml

cd /etc/kubernetes
vi /etc/kubernetes/dashboard-svc.yaml

2.yaml文件，

kind: Service
apiVersion: v1
metadata:
  labels:
    k8s-app: kubernetes-dashboard
  name: kubernetes-dashboard
  namespace: kubernetes-dashboard
spec:
  type: NodePort
  ports:
    - port: 443
      targetPort: 8443
  selector:
    k8s-app: kubernetes-dashboard

3.创建服务

kubectl apply -f dashboard-svc.yaml

4.查看服务

kubectl get svc --all-namespaces
  1. 创建 kubernetes-dashboard 管理员角色，在/etc/kubernetes 目录下创建配置文件dashboard-svc-account.yaml，其内容如下
apiVersion: v1
kind: ServiceAccount
metadata:
  name: dashboard-admin
  namespace: kube-system
---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1beta1
metadata:
  name: dashboard-admin
subjects:
  - kind: ServiceAccount
    name: dashboard-admin
    namespace: kube-system
roleRef:
  kind: ClusterRole
  name: cluster-admin
  apiGroup: rbac.authorization.k8s.io

6.使文件生效

kubectl apply -f dashboard-svc-account.yaml

7.获取token

kubectl get secret -n kube-system |grep admin|awk '{print $1}'

#系统返回dashboard-admin-token-bvhwm，查看token
kubectl describe secret dashboard-admin-token-bvhwm -n kube-system|grep '^token'|awk '{print $2}'
8 查看外部访问端口

```java
kubectl get svc --all-namespaces | grep dashboard

在这里插入图片描述
9.得到地址为
https://192.168.184.129:32696/
在页面空白处直接键盘输入，thisisunsafe 才能访问，否则访问不了
在这里插入图片描述
输入刚刚获取的token进入管理页面
在这里插入图片描述

四、参考资料

K8s集群搭建教程

总结

参考了该博客自己操作了一遍以及遇到的问题解决。

k8s集群搭建
weixin_42603784的博客
08-30 1179
要永久禁用交换分区，你需要编辑 /etc/fstab 文件，并注释掉任何交换分区条目：在文件中找到类似于 swap 的行，并在行首添加 # 注释掉。要永久禁用交换分区，你需要编辑 /etc/fstab 文件，并注释掉任何交换分区条目：在文件中找到类似于 swap 的行，并在行首添加 # 注释掉。节点 IP 是您的主节点或工作节点的 IP 地址，端口是您在上一步中指定的 nodePort 端口（或 Kubernetes 自动分配的端口）。在登录页面中，选择“令牌”作为登录方式，并输入之前获取的令牌。
K8s集群搭建教程
qq_44214446的博客
01-10 1万+
三台虚拟机搭建一个一主多从的kubernetes集群（超详细！！！）
k8s集群搭建入门详细教程
Nanqipro的研究日常
06-13 1384
kubernetes，是一个全新的基于容器技术的分布式架构领先方案，是谷歌严格保密十几年的秘密武器----Borg系统的一个开源版本，于2014年9月发布第一个版本，2015年7月发布第一个正式版本。kubernetes的本质是，它可以在集群的每个节点上运行特定的程序，来对节点中的容器进行管理。
K8S的集群搭建
m0_68922327的博客
06-25 1291
k8s的搭建
如何搭建K8S集群
zhoutao0819的博客
06-24 1909
准备3台机器，要求网络互通（云服务器私网互通，虚拟机网络互通），同时可联网，因为要拉取镜像。关闭防火墙、selinux、swap分区等，这些是可能会导致k8s集群出问题的地方，需要提前配置好。安装Docker容器化环境，同时安装三个核心组件：kubeadm、kubelet、kubectl。下载k8s所需镜像，创建一个Master节点，将Node节点加入到当前集群。在k8s集群安装相关服务进行验证，登录k8s的WEB的用户界面dashboard。
部署k8s集群（k8s集群搭建详细实践版）
热门推荐
tiny_du的博客
03-29 8万+
k8s集群的搭建过程，本人实操记录，图文并茂，非常详细！
阿里云k8s集群搭建
User_bie的博客
12-19 1732
原因：pod未指定命名空间会有个默认的命名空间；k8s集群创建的时候pod不是放在默认命名空间里面。从节点kubectl 无法使用问题：需要配置master的apiserver地址。如果初始化的 token 不小心清空了，可以通过如下命令获取或者重新申请。分别在 k8s-node1 和 k8s-node2 执行。解决：加入token时加入–v=5的参数。指定看哪个命名空间的pod信息 ↓。集群还没准备好：如下图 ↓。获取k8s集群pod信息。查看k8s集群组件 ↓。获取k8s集群节点信息。
k8s之搭建单机集群
wang0907的博客
01-03 3309
本文一起看下如何在单机环境下搭建k8s集群。基础环境准备参考这篇文章。
k8s集群搭建超详细步骤（全）
weixin_55651893的博客
01-10 3342
Kubernetes（常简称为K8s）是用于自动部署、扩展和管理容器化（containerized）应用程序的开源系统。它旨在提供“跨主机集群的自动部署、扩展以及运行应用程序容器的平台”。它支持一系列容器工具，包括Docker等。Kubernetes在设计结构上定义了一系列的构建模块，其目的是为了提供一个可以共同提供部署、维护和扩展应用程序的机制。组成Kubernetes的组件设计概念为松耦合和可扩展的，这样可以使之满足多种不同的工作负载。
K8S集群搭建（kubeadm）
Ab960311的博客
04-22 2055
目录 引言： 一.部署规划 二.部署环境（以下操作需要每一台设备都进行相应的修改） 1.关闭防火墙等安全策略 2.修改主机名 3.映射 三.部署（每一台设备都进行相同操作） 1.安装docker（并设置开机自启）2.安装kubeadm、kubelet核kubectl 3.指定版本 4.关闭swap分区 四.master节点操作 1.初始化 2.执行初始化完成后提示的操作 3.安装网络插件（本案例中使用的是flannel） 4.查看一下主件信息 五.node节点操作 1.
k8s集群搭建redis集群
09-22
k8s集群搭建redis集群 k8s集群搭建redis集群 k8s集群搭建redis集群 k8s集群搭建redis集群 k8s集群搭建redis集群
K8s集群搭建ansible部署脚本
04-21
我个人给公司开发的使用ansible部署k8s的脚本，支持vagrant调用ansbile，和直接ansible执行两种方式。k8s二进制组件使用最新的1.23.5 部署以下模块内容包括： preinstall 安装前准备，主机环境初始化，二进制文件...
K8s集群搭建手册（超级详细）k8s版本1.8.3
12-21
超级详细的K8s集群安装手册，公司安装的时候同步编写的
【云原生开发】如何通过client-go来操作K8S集群
景天科技苑
11-06 3639
client-go是Kubernetes官方提供的，用于操作kubernetes资源的Go语言客户端库，通过它，开发者可以非常方便地在Go项目中与Kubernetes集群进行交互，实现对Kubernetes资源以及自定义CRD的增删改查和事件监听等操作。 同时，可以通过client-go实现kubernetes的二次开发。自定义资源开发。
CKA认证 | Day1 k8s核心概念与集群搭建
最新发布
小安的运维专栏
11-08 610
Kubernetes简称K8s。Kubernetes用于容器化应用程序的部署，扩展和管理，目标是让部署容器化应用简单高效。
k8s 处理namespace删除一直处于Terminating —— 筑梦之路
筑梦之路
11-06 441
k8s集群要清理某个名空间，把该名空间下的资源全部删除后，删除名空间，一直处于Terminating状态，无法完全清理掉。
【K8S系列】Kubernetes Pod节点CrashLoopBackOff 状态及解决方案详解【已解决】
颜淡慕潇
11-07 3390
在 Kubernetes 中，Pod 的状态为 **`CrashLoopBackOff`** 表示某个容器在启动后崩溃，Kubernetes > 尝试重启该容器，但由于持续崩溃，重启的间隔时间逐渐增加。下面将详细介绍 `CrashLoopBackOff > `状态的原因、解决方案及相关命令的输出解释。
k8s核心概念
m0_54187478的博客
11-06 1145
Kubernetes 提供了丰富的资源对象来支持应用的部署、管理、扩展、监控和存储等需求。每种资源对象都有其独特的功能，帮助你在集群中实现不同的场景。：用于管理应用的容器和副本。：用于暴露应用和服务发现。：用于配置和管理敏感信息。Volume、PersistentVolumeClaim、StatefulSet**：用于持久化存储和有状态应用。：用于执行批处理任务或定时任务。Namespace：用于资源隔离和组织。这些配置文件通常使用 YAML 格式定义，并通过kubectl。
基于K8s 1.8.3版本的集群搭建指南
K8s集群搭建手册（超级详细） Kubernetes（简称K8s）是一种开源容器编排系统，可以自动化部署、扩展和管理容器化应用程序。以下是K8s集群搭建手册的详细步骤。 环境准备 在开始搭建K8s集群之前，需要准备好服务器...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值