centos7使用公网IP搭建Kubernetes集群

已于 2022-05-03 09:57:32 修改
阅读量1.1k 收藏 11
点赞数 1
分类专栏： linux yum 文章标签： kubernetes centos docker bash ip
于 2022-05-02 23:55:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/baidu_38424904/article/details/124549187
版权
linux 同时被 2 个专栏收录
7 篇文章 0 订阅
订阅专栏
yum
3 篇文章 0 订阅
订阅专栏

公网云服务器搭建k8s不是一件很好玩的事，会遇到各种麻烦，个人建议如果有条件直接在内网组建即可

一、集群配置与建立
注意：选择的Master节点必须>=2核CPU

masternode1node2
IP(公网)211.159.224.10124.223.56.11147.103.203.223
IP(私有)10.0.16.1510.0.16.14172.17.59.2
操作系统Centos7.6Centos7.6Centos7.6

三台腾讯云服务器搭建k8s v1.23.0版本，下面具体的操作会在括号中表明是哪些主机需要的操作

二、前置工作
2.1 创建虚拟网卡(每个主机)
我们直接使用服务器公网IP启动K8S集群，但是直接是不行的，服务器上没有这个IP的网卡，所以我们需要在对应网卡上创建一个对应公网IP的虚拟网卡：

更新系统

yum -y update
yum  -y upgrade

创建虚拟网卡

# 添加虚拟网卡
tee /etc/sysconfig/network-scripts/ifcfg-eth0:1 <<-'EOF'
DEVICE=eth0:1
ONBOOT=yes
BOOTPROTO=static
IPADDR=这里请修改为你实际的公网IP
NETMASK=255.255.255.0
EOF

# 重启生效
service network restart

2.2 安装前的设置(每个主机)

# 关闭防火墙
systemctl stop firewalld
systemctl disable firewalld

# 关闭selinux
setenforce 0  # 临时
sed -i 's/enforcing/disabled/' /etc/selinux/config  # 永久

# 关闭swap
swapoff -a  # 临时
sed -ri 's/.*swap.*/#&/' /etc/fstab    # 永久

根据规划设置主机名

# 在master服务器上执行
hostnamectl set-hostname master

# 在node1服务器上执行
hostnamectl set-hostname node1

# 在node2服务器上执行
hostnamectl set-hostname node2

在master添加hosts (换成自己的IP)

cat >> /etc/hosts << EOF
<这里改成master节点公网IP> master 
<这里改成node1节点公网IP> node1
<这里改成node2节点公网IP> node2
EOF

# 将桥接的IPv4流量传递到iptables的链
```bash
cat <<EOF | sudo tee /etc/modules-load.d/k8s.conf
br_netfilter
EOF

cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF

# 生效
sysctl --system

时间同步(每个主机)

yum install ntpdate -y
ntpdate time.windows.com

2.3 安装安装包(每个主机)

安装Docker

# 更新安装源
wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O /etc/yum.repos.d/docker-ce.repo
# 安装
yum -y install docker-ce-18.06.1.ce-3.el7

安装kubeadm，kubelet和kubectl

由于版本更新频繁，这里指定版本号部署

# 更新安装源
cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
# 安装
yum install -y kubelet-1.23.0 kubeadm-1.23.0 kubectl-1.23.0

开启自启+启动docker\kubelet

systemctl enable docker && systemctl start docker
systemctl enable kubelet && systemctl start kubelet

更新docker配置，不然k8s启动不了

# 如果已经存在daemon.json  建议删除重新按下面的来操作
tee /etc/docker/daemon.conf <<-'EOF'
{
 "exec-opts":["native.cgroupdriver=systemd"],
 "registry-mirrors": [
    "http://mirrors.aliyuncs.com",
    "https://registry.docker-cn.com",
    "https://docker.mirrors.ustc.edu.cn",
    "http://hub-mirror.c.163.com"]
}
EOF

# 重启docker
systemctl daemon-reload && systemctl restart docker

2.4 开启云服务器端口(每个主机)
很重要的一步，如果开启的不好会导致服务无法访问，如果是云服务器还要登录服务商控制台在防火墙中打开以下端口

控制面/Master

协议方向端口范围目的使用者
TCP入站6443Kubernetes API server所有
TCP入站2379-2380etcd server client API kube-apiserveretcd
TCP入站10250Kubelet API控制面板
TCP入站10259kube-scheduler自身
TCP入站10257kube-controller-manager自身
TCP入站30000-32767NodePort Services所有
UDP入站8472vxlan Overlay 网络通信Overlay 网络

尽管 etcd 的端口也列举在控制面的部分，但你也可以在外部自己托管 etcd 集群或者自定义端口。

批量开端口（master）

iptables -A INPUT -p tcp -m tcp --dport 6443 -j ACCEPT
iptables -A INPUT -p tcp -m tcp --dport 2379 -j ACCEPT
iptables -A INPUT -p tcp -m tcp --dport 2380 -j ACCEPT
iptables -A INPUT -p tcp -m tcp --dport 10250 -j ACCEPT
iptables -A INPUT -p tcp -m tcp --dport 10259 -j ACCEPT
iptables -A INPUT -p tcp -m tcp --dport 10257 -j ACCEPT
iptables -A INPUT -p tcp --dport 30000:32767 -j ACCEPT
iptables -I INPUT -p UDP --dport 8472 -j ACCEPT
service iptables save

工作节点

协议方向端口范围目的使用者
TCP入站10250Kubelet API控制面板
TCP入站30000-32767NodePort Services所有
UDP入站8472vxlan Overlay 网络通信Overlay 网络

批量开端口（node1、node2）

iptables -A INPUT -p tcp -m tcp --dport 10250 -j ACCEPT
iptables -A INPUT -p tcp --dport 30000:32767 -j ACCEPT
iptables -I INPUT -p UDP --dport 8472 -j ACCEPT
service iptables save

NodePort Services是pod服务的默认端口范围。这里如果希望Master的IP也可以访问Pod服务，那么也可以给Master主机开放这些端口（建议）

四、搭建启动

  1. master初始化(master)
kubeadm init \
--apiserver-advertise-address=这里改成你的公网IP \
--image-repository registry.aliyuncs.com/google_containers \
--kubernetes-version v1.23.0 \
--control-plane-endpoint=这里改成你的公网IP \
--service-cidr=10.96.0.0/12 \
--pod-network-cidr=10.244.0.0/16 \
--v=5

创建成功的效果：
初始化成功后的效果

初始化成功后会给出提示，执行以下操作让Master主机上所有用户可以使用kubectl命令

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

并且还给出了其他节点加入集群的命令：

kubeadm join 211.159.224.96 --token esce21.q6hetwm8si29qxwn \
    --discovery-token-ca-cert-hash sha256:00603a05805807501d7181c3d60b478788408cfe6cedefedb1f97569708be9c5

如果过期了可以重新获取：

kubeadm token create --print-join-command

2.如果这上步创建失败了，检查过问题后，按照下的步骤回退重新创建即可

rm -rf /etc/kubernetes/*
rm -rf ~/.kube/*
rm -rf /var/lib/etcd/*

lsof -i :6443|grep -v "PID"|awk '{print "kill -9",$2}'|sh
lsof -i :10250|grep -v "PID"|awk '{print "kill -9",$2}'|sh
lsof -i :10257|grep -v "PID"|awk '{print "kill -9",$2}'|sh
lsof -i :10259|grep -v "PID"|awk '{print "kill -9",$2}'|sh
lsof -i :2379|grep -v "PID"|awk '{print "kill -9",$2}'|sh
lsof -i :2380|grep -v "PID"|awk '{print "kill -9",$2}'|sh

rm -rf /var/lib/kubelet/
rm -rf /var/lib/dockershim/
rm -rf /var/run/kubernetes
rm -rf /var/lib/cni
rm -rf /etc/kubernetes/*
rm -rf ~/.kube/*
rm -rf /var/lib/etcd/*

lsof -i :6443|grep -v "PID"|awk '{print "kill -9",$2}'|sh
lsof -i :10257|grep -v "PID"|awk '{print "kill -9",$2}'|sh
lsof -i :10259|grep -v "PID"|awk '{print "kill -9",$2}'|sh
lsof -i :2379|grep -v "PID"|awk '{print "kill -9",$2}'|sh
lsof -i :2380|grep -v "PID"|awk '{print "kill -9",$2}'|sh

echo "y" | kubeadm reset

注意，即使这样也没有删除掉k8s对本机网卡iptables转发的配置，完全的删除还需要执行:

iptables -F && iptables -t nat -F && iptables -t mangle -F && iptables -X
ipvsadm -C
ipvsadm --clear

执行ifconfig会发现还有一些虚拟veth、cni、flannel等设备都可以通过ip link delete xxx删除掉

如果创建失败是卡在：

[wait-control-plane] Waiting for the kubelet to boot up the control plane as static Pods from directory "/etc/kubernetes/manifests". This can take up to 4m0s

则重新创建，在卡住的时候修改以下三行，这时会自动重试完成创建

vim /etc/kubernetes/manifests/etcd.yaml  

    - --listen-client-urls=https://0.0.0.0:2379
    - --listen-metrics-urls=http://127.0.0.1:2381
    - --listen-peer-urls=https://0.0.0.0:2380
  1. 修改kube-apiserver参数(Master)
    在 master 节点，kube-apiserver 添加–bind-address=0.0.0.0和修改–advertise-address=<公网IP>

vi /etc/kubernetes/manifests/kube-apiserver.yaml

apiVersion: v1
kind: Pod
metadata:
  annotations:
    kubeadm.kubernetes.io/kube-apiserver.advertise-address.endpoint: 你的公网IP:6443
  creationTimestamp: null
  labels:
    component: kube-apiserver
    tier: control-plane
  name: kube-apiserver
  namespace: kube-system
spec:
  containers:
  - command:
    - kube-apiserver
    - --bind-address=0.0.0.0
    - --advertise-address=你的公网IP

在这里插入图片描述

  1. work node加入(work node)
    在每个work node上执行一下上面的join指令即可：
# 在执行时，需要把命令里的 \ 删掉
kubeadm join 211.159.224.96 --token esce21.q6hetwm8si29qxwn \
    --discovery-token-ca-cert-hash sha256:00603a05805807501d7181c3d60b478788408cfe6cedefedb1f97569708be9c5

加入成功效果

  1. 安装CNI网络插件(Master)，使用flannel, 在master节点执行
wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

修改 yaml 配置文件，添加两处地方：

vi kube-flannel.yml

      containers:
      - name: kube-flannel
       #image: flannelcni/flannel:v0.17.0 for ppc64le and mips64le (dockerhub limitations may apply)
        image: rancher/mirrored-flannelcni-flannel:v0.17.0
        command:
        - /opt/bin/flanneld
        args:
        - --public-ip=$(PUBLIC_IP)
        - --iface=eth0
        - --ip-masq
        - --kube-subnet-mgr

在这里插入图片描述

env:
        - name: PUBLIC_IP
          valueFrom:
            fieldRef:
              fieldPath: status.podIP

在这里插入图片描述

安装插件：

kubectl apply -f kube-flannel.yml
  1. 检查状态(Master)
# 检查集群状态:
kubectl get nodes

#检查系统Pods状态：
watch -n 1 kubectl get pod -n kube-system -o wide

五、测试
master 节点执行下面命令来部署 nginx

kubectl create deploy my-nginx --image=nginx
kubectl expose deploy my-nginx --port=80 --type=NodePort

查看 nginx 部署的 pod 信息，可以看到 Pod ip，以及部署在哪一个节点上

kubectl get pods -o wide

每一台机子都ping一下Pod的IP，看看是否能Ping通，如果不行，先执行sudo iptables -P FORWARD ACCEPT, 如果还是不行， 那么检查主机的UDP端口8472是否开启

测试NodePort：

kubectl get svc -o wide

在这里插入图片描述

用每个主机的公网IP + 这里的端口号，看看是否都可以访问Nginx服务，如果都可以那么集群就ok了，如果不行就检查端口是否开放（特别是Master）
在这里插入图片描述

测试master直接进入子节点容器

kubectl exec -it my-nginx-9b596c8c4-k2zcp /bin/bash

在这里插入图片描述
如果这里超时连不上，则可以做一个内网转发，然后重试即可

iptables -t nat -A OUTPUT -d <连接超时的内网IP> -j DNAT --to-destination <连不上的子节点公网IP>
service iptables save
布帆云
关注
专栏目录
基于公网 IP 搭建 K8s 集群
小哈哈的博客
04-25 930
3.1安装 kubeadm, kubelete, kubectl（所有节点）2.7kube-proxy开启ipvs的前置条件（所有节点）四、安装Fannel（子节点安装。2.4关闭防火墙并配置iptables规则（所有节点）3.2修改kubelet启动参数（所有节点）3.3重启kubelet（所有节点）2.8安装docker（所有节点）五、子节点加入工作节点（子节点）2.3安装依赖文件（所有节点）2.6调整系统参数（所有节点）3.4拉取所需镜像（所有节点）3.5初始化主节点（主节点）
centos7 检测公网ip变化并发送变化内容到私人邮箱
04-26
功能： 在私网内检测公网出口ip变化，并邮件通知私人邮件 使用技术： shell 脚本、linux系统知识 背景: 因为家里是nas服务器，使用的是联通网络，为了省钱没有申请固定外网ip，虽然是独立但是会周期性更改，导致每次从外网访问发生异常，尤其是变化后，如果不在家就不知道目前ip是多少，故而通过脚本检测ip变化并发送邮件到邮箱。这样能随时知道公网ip变化，以便能实时通过公网ip访问家里的私有云。
Centos7网络配置(设置固定ip)
最新发布
个人笔记git：https://gitee.com/tlangp/note.git
07-01 3256
刚安装完系统，有的人尤其没有勾选自动网络配置的情况下，是访问不了外网的，本机也连不通虚拟机。或者现在有的是动态ip，几次之后启动ip地址就变了，会导致其他软件或程序之前连接配置要重新更改，很麻烦，下面讲解一下如何配置网络，如何设置成固定ip。
CentOS7 获取公网IP、查看IP、Gateway、DNS、Hostname、网关
Guoye的专栏
03-05 1959
CentOS7 获取公网IP、查看IP、Gateway、DNS、Hostname、网关 查公网IP curl http://members.3322.org/dyndns/getip 查本机IP ip addr 查看路由 ip route 查看DNS cat /etc/resolv.conf 查看主机名 hostname 查看网关 netstat -rn ...
CentOS7 配置网络IP
weixin_43945453的博客
03-04 3379
centos7获取IP地址的方法主要有两种，1：动态获取ip；2：设置静态IP地址 在配置网络之前我们先要知道centos的网卡名称是什么，centos7不再使用ifconfig命令，可通过命令 ip addr或者ip a查看，如图，网卡名为ens192，是没有IP地址的 一般网卡信息在/etc/sysconfig/network-scripts/ 的目录下，当前ens192为网卡名 所以查看网卡完整命令为 cat /etc/sysconfig/network-scripts/ifcfg-ens192
虚拟机CentOS 7配置IP地址并能访问公网
Crazy_young_man的博客
11-18 1242
查看系统显卡名称 执行命令： ip addr 可以看到这里的羡慕名是ens33 配置动态地址 修改网卡配置 vi /etc/sysconfig/network-scripts/ifcfg-ens33 如果显卡名是ens32，则命令是 vi /etc/sysconfig/network-scripts/ifcfg-ens32 修改内容 BOOTPROTO=“dhcp” ONBOOT=“yes” 重启网络服务 systemctl restart network 重新查看ip 配置静态IP 同
centOS7查看内网ip与公网ip
l244112311的博客
06-12 2369
查看内网IP hostname -i 公网IP等信息 curl cip.cc
kubernetes集群搭建-CentOS7
qq_33791052的博客
12-12 1571
kubernetes集群搭建 1 . 准备基本环境 1.1 一台或多台安装了以下系统的物理机或者虚拟机 Ubuntu 16.04+ Debian 9+ CentOS 7 Red Hat Enterprise Linux (RHEL) 7 Fedora 25+ HypriotOS v1.0.1+ Flatcar Container Linux (tested with 2512.3.0) 1.2 一台或多台安装了以下系统的物理机或者虚拟机 每台机器至少分配2G内存 每台机器至少分配2 CPU 1
Kubernetes集群环境搭建on Centos7
云原生社区博客分享
02-24 2412
Kubernetes集群环境搭建on Centos7
[kubernetes] 跨云厂商使用公网IP搭建k8s v1.20.9集群
运维少年
04-01 1375
最近双11，各大云厂家都在搞活动，所以我在腾讯云和阿里云都各买了一台服务器玩玩。之前的实验环境都是在家里的笔记本用虚拟机搭的，想着搭一套云上的玩一下，本文参照https://blog.csdn.net/chen645800876/article/details/105833835进行操作，搭建后暂时没有遇到问题，配...
Kubernetes——Kubernetes的介绍和使用 kubeadm方式搭建Kubernetes集群
Cantevenl的博客
05-07 2407
Kubernetes前言Kubernetes的介绍Kubernetes的功能Kubernetes架构组件K8S核心概念完整流程开始使用Kubernetes准备环境安装Docker、kubeadm、kubelet安装docker安装部署Kubernetes Master（master节点）加入Kubernetes Node（Slave节点）部署CNI网络插件测试kubernetes集群运行kubia应用 前言 我是根据《Kubernetes in Action》这本书来学习Kubernetes的。只能算是自己
centos7中kubeadm方式搭建k8s集群(crio+calico)(k8s v1.21.0)所需文件.zip
09-03
通过以上步骤，你已经在CentOS 7上使用kubeadm成功地搭建了一个包含cri-o和Calico的Kubernetes v1.21.0集群。这个集群不仅可以高效运行容器，还具备了强大的网络策略能力。记得定期更新组件，以保持集群的安全性和...
使用 kubeadm 搭建 kubernetes 集群
qhh0205
03-19 3677
使用 kubeadm 搭建 kubernetes 集群 kubeadm 简介 kubeadm 是 k8s 官方提供的用于快速部署 k8s 集群的命令行工具，也是官方推荐的最小化部署 k8s 集群的最佳实践，比起直接用二进制部署能省去很多工作，因为该方式部署的集群的各个组件以 docker 容器的方式启动，而各个容器的启动都是通过该工具配自动化启动起来的。 kubeadm 不仅仅能部署 k8s 集群...
K8S安装笔记（二）—— 多公网服务器搭建集群
热门推荐
gmHappy
05-18 3万+
目标：基于以下两台公网云服务器搭建`k8s v1.23.0`集群。
centos7配置ip
Andy的java博客
07-13 517
改完后，按Esc ，再shift+分号，再输入wq保存退出输入root密码，输入的时候没有任何提示，输入完回车就可以了。
centos7配置ip地址(centos7配置ip地址)
计算机毕业论文源码，学生个人网页制作html源码。贴近用户做网络推广和互联网优化。
02-25 2374
IP地址与服务器是如何配置的？ l直连网络中：mss对端ip地址对应的出口的MTU20字节ip头20字节tcp头 路由器怎么配置IP地？路由器怎么配置IP地址 路由器设置方法如下： 把外面进来的网线插在路由器的WAN口，然后分别用网线将2台机子连接到路由器的LAN口。 现在大家一般用的路由器的IP是1...
多台云服务器的 Kubernetes 集群搭建
栗子的博客
06-25 858
多台云服务器的 Kubernetes 集群搭建
添加公网 IP 到 kubernetes 的 apiserver
weixin_44070095的博客
06-27 2511
通过公网地址访问kubernetes的apiserver
centos7设置静态IP连接外网
cuigelasi的博客
06-15 1万+
ISO镜像的centos7系统刚装好，网络可能不通，所以要检查网络。 ping 外网检测# ping www.baidu.com如果未能ping通，请依次检测ip，route# vi /etc/sysconfig/network-script/ifcfg-eth0可以先将dhcp动态分配IP改为静态IP#cgls #BOOTPROTO=dhcp BOOTPROTO=static IPADDR=1
CentOS7使用Kubeadm快速搭建Kubernetes集群
"本文档是关于在CentOS7系统中使用Kubeadm工具安装和部署Kubernetes（K8S）集群的技术方案，由张志龙编写于2017年12月19日。" 在CentOS7环境下，Kubernetes的安装通常采用kubeadm工具，它为用户提供了方便快捷的...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值