Kubernetes二进制部署 单节点master

最新推荐文章于 2022-03-24 17:34:15 发布
最新推荐文章于 2022-03-24 17:34:15 发布
阅读量167 收藏
点赞数
文章标签： kubernetes docker 容器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_58345514/article/details/120991997
版权

目录

一、环境准备

二 部署etcd集群

master节点部署

​

​

启动etcd服务

在node1节点修改

在node2节点修改

在master1节点上进行启动

部署docker引擎

二、flannel网络配置

K8S中Pod网络通信

Flannel工作原理:

在master1 节点 添加flannel 网络配置信息

在所有node节点上操作

 三、部署master组件

 四、部署node组件

 总结：

一、环境准备

主机IP地址安装包/软件
k8s集群master1192.168.50.10kube-apiserver kube-controller-manager kube-scheduler etcd
k8s集群node1192.168.50.20kubelet kube-proxy docker flannel
k8s集群node2192.168.50.30kubelet kube-proxy docker flannel
关闭防火墙
systemctl stop firewalld
systemctl disable firewalld 

关闭selinux
setenforce 0
sed -i 's/enforcing/disabled/' /etc/selinux/config

关闭swap
swapoff -a
sed -ri 's/.*swap.*/#&/' /etc/fstab

根据规划设置主机名
hostnamectl set-hostname master1
hostnamectl set-hostname node1
hostnamectl set-hostname node2

在master添加hosts
cat >> /etc/hosts << EOF
192.168.50.10 master1
192.168.50.20 node1
192.168.50.30 node2
EOF

将桥接的IPv4流量传递到iptables的链
cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF

sysctl --system

时间同步
yum install ntpdate -y
ntpdate time.windows.com

 

 

另外两台也是如此 

二 部署etcd集群

etcd是CoreOS团队于2013年六月开启的开源项目，他的目标是构建一个高可用的分布式键值（key-value）数据库，etcd内部采用reft协议作为一致性算法，etcd是go语言编写的。

etcd作为服务发现系统，有以下的特点:

  •  简单 安装配置简单，而且提供了HTTP API进行交互，使用也很简单
  • 安全: 支持SSL证书验证
  •  快速: 单实例支持每秒2k+读操作
  • 可靠: 采用raft算法实现分布式系统数据的可用性和一致性

etcd面前默认使用2379端口提供的HTTP API服务，2380端口和peer通信（这两个端口已经被IANA（互联网数字分配机构）官方预留给etcd）。即etcd默认使用2379端口对外为客户端提供通讯，使用2380端口来进行服务器间内部通讯。

etcd 在生产环境中一般推荐集群方式部署。由于etcd的leader选举机制，要求至少为3台或以上的奇数台。

准备签发证书环境

  • CFSSL是CloudFlare 公司开源的一款PKI/TLS工具。CESSL 包含一个命令行工具和一个用于签名、验证和捆绑TLS证书的HTTP API服务。使用Go语言编写。
  • CFSSL使用配置文件生成证书，因此自签之前，需要生成它识别的json 格式的配置文件，CFSSL 提供了方便的命令行生成配置文件。
  • CFSSL用来为etcd提供TLS证书，它支持签三种类型的证书:
    • 1、client证书，服务端连接客户端时携带的证书，用于客户端验证服务端身份，如kube-apiserver 访问etcd;
    • 2、server证书，客户端连接服务端时携带的证书，用于服务端验证客户端身份，如etcd对外提供服务:
    • 3、peer证书，相互之间连接时使用的证书，如etcd节点之间进行验证和通信。
  • 这里使用同一套证书认证

1.master节点部署

//下载证书制作工具，两种方法   -o/O 另存为
wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64 -O /usr/local/bin/cfssl
wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64 -O /usr/local/bin/cfssljson
wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64 -O /usr/local/bin/cfssl-certinfo
或
curl -L https://pkg.cfssl.org/R1.2/cfssl_linux-amd64 -o /usr/local/bin/cfssl
curl -L https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64 -o /usr/local/bin/cfssljson
curl -L https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64 -o /usr/local/bin/cfssl-certinfo

chmod +x /usr/local/bin/cfssl*

=================================
cfssl: 证书签发的工具命令
cfssljson: 将cfssl 生成的证书( json格式)变为文件承载式证书
cfssl-certinfo:验证证书的信息
cfssl-certinfo -cert <证书名称>
#查看证书的信息
=================================

//创建k8s.工作目录
mkdir /opt/k8s
cd /opt/k8s/
//上传etcd-cert.sh 和etcd.sh 到/opt/k8s/ 目录中
chmod +x etcd-cert.sh etcd. sh
//创建用于生成CA证书、etcd服务器证书以及私钥的目录
mkdir /opt/k8s/etcd-cert

mv etcd-cert.sh etcd-cert/
cd /opt/k8s/etcd-cert/
./etcd-cert.sh
#生成CA证书、etcd服务器证书以及私钥

ls

 

 

 

 

启动etcd服务

//etcd二进制包地址: https://github.com/etcd-io/etcd/releases
//上传etcd-v3.3.10-1inux-amd64.tar.gz 到/opt/k8s/ 目录中，解压etcd 压缩包
cd /opt/k8s/
tar zxvf etcd-v3.3.10-linux-amd64.tar.gz
1s etcd-v3.3.10-linux-amd64
Documentation etcd etcdctl README-etcdctl.md README.md
READMEv2-etcdctl.md
==========================
etcd就是etcd服务的启动命令，后面可跟各种启动参数
etcdct1主要为etcd服务提供了命令行操作
============================
//创建用于存放etcd配置文件，命令文件，证书的目录
mkdir -P /opt/etcd/{cfg,bin,ssl}
mv /opt/k8s/etcd-v3.3.10-linux- amd64/etcd /opt/k8s/etcd-v3.3.10-1inux-amd64/etcdct1 /opt/etcd/bin/
cp /opt/k8s/etcd-cert/*.pem /opt/etcd/ssl/
./etcd.sh etcd01 192.168.80.10 etcd02=https://192.168.50.11:2380,etcd03=https://192.168.50.12:2380
//进入卡住状态等待其他节点加入，这里需要三台etcd服务同时启动，如果只启动其中一台后，服务会卡在那里，直到集群中所有etcd节点都已启动，可忽略这个情况
/另外打开一个窗口查看etcd进程是否正常
ps -ef | grep etcd

//把etcd相关证书文件和命令文件全部拷贝到另外两个etcd集群节点
scp -r /opt/etcd/ root@192.168.50.11:/opt/
scp -r /opt/etcd/ root@192.168.50.12:/opt/

//把etcd服务管理文件拷贝到另外两个etcd集群节点
scp /usr/lib/systemd/system/etcd.service root@192.168.50.11:/usr/lib/systemd/system/
scp /usr/lib/systemd/system/etcd.service root@192.168.50.12:/usr/lib/systemd/system/

 

 

 

 

 

 

 

 

 在node1节点修改

cd /opt/etcd/cfg/
vim etcd 
#[Member]
ETCD_NAME="etcd02"
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="https://192.168.200.40:2380"
ETCD_LISTEN_CLIENT_URLS="https://192.168.200.40:2379"

#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.200.40:2380"
ETCD_ADVERTISE_CLIENT_URLS="https://192.168.200.40:2379"
ETCD_INITIAL_CLUSTER="etcd01=https://192.168.200.10:2380,etcd02=https://192.168.200.40:2380,etcd03=https://192.168.200.60:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"

 在node2节点修改

cd /opt/etcd/cfg/
vim etcd 
#[Member]
ETCD_NAME="etcd03"
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="https://192.168.200.60:2380"
ETCD_LISTEN_CLIENT_URLS="https://192.168.200.60:2379"

#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.200.60:2380"
ETCD_ADVERTISE_CLIENT_URLS="https://192.168.200.60:2379"
ETCD_INITIAL_CLUSTER="etcd01=https://192.168.200.10:2380,etcd02=https://192.168.200.40:2380,etcd03=https://192.168.200.60:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"

在master1节点上进行启动

cd /root/k8s/
./etcd.sh etcd01 192.168.200.10 etcd02=https://192.168.200.40:2380,etcd03=https://192.168.200.60:2380

======接着在node1和node2节点分别进行启动======
 systemctl start etcd.service 


======在master1 节点上操作======
ln -s /opt/etcd/bin/etcd* /usr/1oca1/bin 
//检查etcd群集状态
cd /opt/etcd/ssl


etcdctl --ca-file=ca.pem --cert-file=server.pem --key-file=server-key.pem --endpoints="https://192.168.50.10:2379,https://192.168.50.20:2379,https://192.168.50.30:2379" cluster-health
-----------------------------------------------
--cert-file:识别HTTPS端使用sSL证书文件
--key-file: 使用此SSL密钥文件标识HTTPS客户端
-ca-file:使用此CA证书验证启用https的服务器的证书
--endpoints:集群中以逗号分隔的机器地址列表
cluster-health:检查etcd集群的运行状况
-----------------------------------------------

//切换到etcd3版本查看集群节点状态和成员列表
export ETCDCTL_API=3
#v2和v3命令略有不同，etcd2 和etcd3也是不兼容的，默认是v2版本
etcdctl --write-out=table endpoint status
etcdctl --write-out-table member list
export ETCDCTL_API=2
#再切回v2版本

 部署docker引擎

======所有node节点部署docker引擎======
#安装依赖包
yum install -y yum-utils device-mapper-persistent-data lvm2 
--------------------------------------------------------------------------------------------
yum-utils：提供了 yum-config-manager 工具。
device mapper： 是Linux内核中支持逻辑卷管理的通用设备映射机制，它为实现用于存储资源管理的块设备驱动提供了一个高度模块化的内核架构。
device mapper存储驱动程序需要 device-mapper-persistent-data 和 lvm2。
--------------------------------------------------------------------------------------------

#设置阿里云镜像源
yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo 

#安装 Docker-CE并设置为开机自动启动
yum install -y docker-ce

systemctl start docker.service
systemctl enable docker.service 

#查看 docker 版本信息
docker version

二、flannel网络配置

K8S中Pod网络通信

  • Pod内容器与容器之间的通信

在同一个Pod内的容器(Pod内的容器是不会跨宿主机的)共享同一个网络命令空间，相当于它们在网一台机器上一样，可以用 localhost地址访间彼此的端口

  • 同一个Node内Pod之间的通信

每个Pod 都有一个真实的全局IP地址，同一个Node 内的不同Pod之间可以直接采用对方Pod的IP 地址进行通信，Pod1 与 Pod2都是通过veth连接到同一个docker0 网桥，网段相同，所以它们之间可以直接通信

  • 不同Node上Pod之间的通信

Pod地址与docker0 在同一网段，dockor0 网段与宿主机网卡是两个不同的网段，且不同Nodo之间的通信贝能通过宿主机的物理网卡进行

要想实现不同Node 上Pod之间的通信，就必须想办法通过主机的物理网卡IP地址进行寻址和通信。

因此要满足两个条件:

Pod 的IP不能冲突: 将Pod的IP和所在的Node的IP关联起来，通过这个关联让不同Node上Pod之间直接通过内网IP地址通信。

Overlay Network

叠加网络，在二层或者三层基础网络上叠加的一种虚拟网络技术模式，该网络中的主机通过虚拟链路隧道连接起来(类似于VPN)

VXLAN

将源数据包封装到UDP中，并使用基础网络的IP/MAC作为外层报文头进行封装，然后在以太网上传输，到达目的地后由隧道端点解封装并将数据发送给目标地址

Flannel

Flannel的功能是让集群中的不同节点主机创建的Docker容器都具有全集群唯一的虚拟IP地址 Flannel是Overlay 网络的一种，也是将TCP 源数据包封装在另一种网络 包里而进行路由转发和通信，目前己经支持UDP、VXLAN、AwS VPC等数据转发方式

 ETCD之Flannel 提供说明

存储管理Flanne1可分配的IP地址段资源

监控ETCD中每个Pod 的实际地址，并在内存中建立维护Pod 节点路由表

Flannel工作原理:

数据从源node节点的pod发生后，会经由docker0网卡发到flannel0 网卡，在flannel0网卡有个 flanneld 服务会把这个数据包封装到 udp 报文中，然后根据自己在etcd 中维护路由表通过网卡转发到node节点，数据包到达目标node节点后被flanneld 服务器解封，然后经由flannel0 网卡和docker0 网卡转发到目标pod的容器

在master1 节点 添加flannel 网络配置信息

======在master1 节点上操作======
//添加flannel 网络配置信息，写入分配的子网段到etcd 中，供flannel使用
cd /opt/etcd/ss1
/opt/etcd/bin/etcdct1 \
--ca-file=ca.pem \
--cert-file=server.pem \
-- key-file=server-key.pem \
--endpoints="https://192.168.50.10:2379,https://192.168.50.11:2379,https://192.168.50.12:2379" \
set /coreos.com/network/config '{"Network": "172.17.0.0/16"，"Backend": {"Type": "vxlan"}}'

/opt/etcd/bin/etcdctl --ca-file=ca.pem --cert-file=server.pem --key-file=server-key.pem --endpoints="https://192.168.184.140:2379,https://192.168.184.141:2379,https://192.168.184.142:2379" set /coreos.com/network/config '{ "Network": "172.17.0.0/16", "Backend": {"Type": "vxlan"}}'


//查看写入的信息
/opt/etcd/bin/etcdctl \
--ca-file=ca.pem \
--cert-file-server.pem \
--key-file=server-key.pem \
--endpoints="https://192.168.50.10:2379,https://192.168.50.11:2379,https://192.168.50.12:2379" \
get /coreos.com/network/config


/opt/etcd/bin/etcdctl --ca-file=ca.pem --cert-file=server.pem --key-file=server-key.pem --endpoints="https://192.168.50.10:2379,https://192.168.50.20:2379,https://192.168.50.30:2379" get /coreos.com/network/config

---------------------------------------------------------
set /coreos.com/network/confiq添加一条网络配置记求，这个配置将用于flannel分配给每个docker的虛拟IP地址段
get <ckey> 
got /coreos.com/octwork/config获取网络配置记录，后面不用再跟参数了
Network:用于指定Flane1地址池
Backend:用于指定数据包以什么方式转发，默认为udp模式，Backend为vxlan比起预设的udp性能相对好一些

 在所有node节点上操作

======在所有node节点上操作======
//上传flannel.sh 和flanne1-v0.10.0-1inux-amd64.tar.gz 到/opt 目录中，解压flannel 压缩包
cd /opt
tar zxvf flannel-v0.10.0-1inux-amd64.tar.gz
flanneld
#flanneld为主要的执行文件
mk-docker-opts.sh
#mk-docker-opts . sh脚本用于生成Docker启动参数
README.md

//创建kubernetes工作目录
mkdir -p /opt/kubernetes/{cfg,bin,ss1}
cd /opt
mv mk-docker-opts.sh flanneld /opt/kubernetes/bin/

//启动flanneld服务，开启flanne1网络功能
cd /opt
chmod +x flannel.sh
./flannel.sh https://192.168.50.10:2379,https://192.168.50.11:2379,https://192.168.50.30.12:2379

. flannel.sh https://192.168.50.10:2379,https://192.168.50.20:2379,https://192.168.50.30:2379



//flanne1启动后会生成一个docker网络相关信息配置文件/run/flannel/subnet.env，包含了docker要使用flannel通讯的相关参数
cat /run/flannel/subnet.env
DOCKER_OPT_BIP="--bip=172.17.26.1/24"
DOCKER_OPT_IPMASQ="--ip-masq= false"
DOCKER_OPT_MTU="--mtu=1450"
DOCKER_NETWORK_OPTIONS=" --bip=172.17.26.1/24 --ip-masq=false --mtu=1450"
------------------------------------------------
--bi: 指定docker 启动时的子网
--ip-masq: 设置ipmasq=false 关闭snat 伪装策略
--mtu=1450:mtu要留出50字节给外层的vxlan封包的额外开销使用
Flannel启动过程解析:
1、从etcd中获取network的配置信息
2、划分subnet， 并在etcd中进行注册
3、将子网信息记录到/run/flannel/subnet.env中
------------------------------------------------

//修改docker服务管理文件，配置docker连接flannel
vim /lib/systemd/system/docker.service
[Service]
Type=notify
# the default is not to use systemd for cgroups because the delegate issues stillt
# exists and systemd currently dges not support the cgroup feature set requi red 
# for containers run by docker
EnvironmentFile=/run/flannel/subnet.env
#添加
ExecStart=/usr/bin/dockerd $DOCKER_NETWORK_OPTIONS -H fd:// --containerd=/run/containerd/containerd.sock
#修改
ExecReload=/bin/kill -s HUP $MAINPID
TimeoutSec=0
RestartSec=2
Restart=always 

//重启docker服务
systemctl daemon-reload
systemctl restart docker

ifconfig #查看flannel网络

测试ping通对方docker0网卡 证明flannel起到路由作用
ping 172.17.38.1  

docker run -it centos:7 /bin/bash     #node1和node2都运行该命令
 
yum install net-tools -y       #node1和node2都运行该命令

ifconfig //再次测试ping通两个node中的centos:7容器

 

 

 

 

 

 

 三、部署master组件

======在master1 节点上操作======
//上传master.zip 和k8s-cert.sh 到/opt/k8s 目录中，解压master.zip 压缩包
cd /opt/k8s/
unzip master.zip
apiserver.sh
scheduler.sh
controller-manager.sh

chmod +x * .sh

//创建kubernetes工作目录
mkdir -P /opt/kubernetes/{cfg,bin,ss1}

//创建用于生成CA证书、相关组件的证书和私钥的目录
mkdir /opt/k8s/k8s-cert
mv /opt/k8s/k8s-cert.sh /opt/k8s/k8s-cert
cd /opt/k8s/k8s-cert/
./k8s-cert.sh
#生成CA证书、相关组件的证书和私钥

//controller-manager和kube-scheduler设置为只调用当前机器的apiserver, 使用127.0.0.1:8080 通信，因此不需要签发证书

//复制CA证书、apiserver 相关证书和私钥到kubernetes. 工作目录的ssl子目录中
cp ca*pem apiserver*pem /opt/kubernetes/ssl/

//上传kubernetes-server-linux-amd64.tar.gz 到/opt/k8s/ 目录中，解压kubernetes 压缩包
cd /opt/k8s/
tar zxvf kubernetes-server-linux-amd64.tar.gz

//复制master组件的关键命令文件到kubernetes. 工作目录的bin子目录中
cd /opt/k8s/kubernetes/server/bin
cp kube-apiserver kubectl kube-controller-manager kube-scheduler /opt/kubernetes/bin/
1n -s /opt/kubernetes/bin/* /usr/local/bin/

//创建bootstrap token 认证文件，apiserver 启动时会调用，然后就相当于在集群内创建了一个这个用户，接下来就可以用RBAC
给他授权
cd /opt/k8s/
vim token.sh
#!/bin/bash
#获取随机数前16个字节内容，以十六进制格式输出，并删除其中空格
BOOTSTRAP_TOKEN=$(head -e 16 /dev/urandom | od -An -t x | tr -d ‘ ’)
#生成token.csv 文件，按照Token序列号,用户名,UID,用户组的格式生成
cat > /opt/kubernetes/cfg/token.csv <<EOF
$(BOOTSTRAP_TOKEN),kubelet-bootstrap,10001,"system: kubelet-bootstrap"
EOF
chmod +x token.sh
./token.sh

./apiserver.sh 192.168.200.10 https://192.168.200.10:2379,https://192.168.200.40:2379,https://192.168.200.60:2379

#检查进程是否启动成功
ps aux | grep kube

//k8s通过kube- apiserver这 个进程提供服务，该进程运行在单个master节点上。默认有两个端口6443和8080
//安全端口6443用于接收HTTPS请求，用于基于Token文件或客户端证书等认证
netstat -natp | grep 6443

//本地端口8080用于接收HTTP请求，非认证或授权的HTTP请求通过该端口访问APIServer
netstat -natp
grep 8080

//查看版本信息(必须保证apiserver启动正常，不然无法查询到server的版本信息)
kubectl version


//启动scheduler 服务
cd /opt/k8s/
./scheduler.sh 127.0.0.1

ps aux | grep kube-scheduler

//启动controller-manager服务
cd /opt/k8s/
./controller-manager.sh 127.0.0.1

//查看节点状态
kubectl get cs

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 四、部署node组件

部署node组件
======在master1 节点上操作======
//把kubelet、 kube-proxy拷贝到node 节点
cd /opt/k8s/kubernetes/server/bin
scp kubelet kube-proxy root0192.168.50.11:/opt/kubernetes/bin/
scp kubelet kube-proxy root@192.168.50.12:/opt/kubernetes/bin/

======在node1 节点上操作======
//上传node.zip 到/opt 目录中，解压node.zip 压缩包，获得kubelet.sh、 proxy.sh
cd /opt/
unzip node.zip

======在master1节点上操作=======
//创建用于生成kubelet的配置文件的目录
mkdir /opt/k8s/kubeconfig

//上传kubeconfig.sh 文件到/opt/k8s/kubeconfig 目录中
#kubeconfig.sh文件包含集群参数(CA 证书、API Server 地址)，客户端参数(上面生成的证书和私钥)，集群context
上下文参数(集群名称、用户名)。Kubenetes 组件(如kubelet、 kube-proxy) 通过启动时指定不同的kubeconfig文件可以切换到不同的集群，连接到apiserver
cd /opt/k8s/kubeconfig
chmod +x kubeconfig.sh

//生成kubelet的配置文件
cd /opt/k8a/kubeconfig
./kubecontig.sh 192.168.50.10 /opt/k8s/k8s-cert/

1s
bootstrap.kubeconfig kubeconfig.sh kube-proxy.kubeconfig

//把配置文件bootstrap.kubeconfig、kube-proxy.kubeconfig拷贝到node节点
cd /opt/k8s/kubeconfig
scp bootstrap.kubeconfig kube-proxy-kubeconfig root0192.168.50.20:/opt/kubernetes/cfg/
scp bootstrap.kubeconfig kube-proxy.kubeconfig root@192.168.50.30:/opt/kubernetes/cfg/

//RBAC授权，将预设用户kubelet-bootatrap 与内置的ClusterRole system:node-bootatrapper 绑定到一起，使其能够发起CSR请求
kubectl create clusterrolebinding kubelet-bootstrap --clusterrole=system:node-bootstrapper --user=kubelet-bootstrap
---------------------------------------
kubelet采用TLS Bootstrapping 机制，自 动完成到kube -apiserver的注册，在node节点量较大或者后期自动扩容时非常有用。
Master apiserver 启用TLS 认证后，node 节点kubelet 组件想要加入集群，必须使用CA签发的有效证书才能与apiserver 通信，当node节点很多时，签署证书是一件很繁琐的事情。因此Kubernetes 引入了TLS bootstraping 机制来自动颁发客户端证书，kubelet会以一个低权限用户自动向apiserver 申请证书，kubelet 的证书由apiserver 动态签署。

kubelet首次启动通过加载bootstrap.kubeconfig中的用户Token 和apiserver CA证书发起首次CSR请求，这个Token被预先内置在apiserver 节点的token.csv 中，其身份为kubelet-bootstrap 用户和system: kubelet- bootstrap用户组:想要首次CSR请求能成功(即不会被apiserver 401拒绝)，则需要先创建一个ClusterRoleBinding， 将kubelet-bootstrap 用户和system:node - bootstrapper内置ClusterRole 绑定(通过kubectl get clusterroles 可查询)，使其能够发起CSR认证请求。

TLS bootstrapping 时的证书实际是由kube-controller-manager组件来签署的，也就是说证书有效期是kube-controller-manager组件控制的; kube-controller-manager 组件提供了一个--experimental-cluster-signing-duration
参数来设置签署的证书有效时间:默认为8760h0m0s， 将其改为87600h0m0s， 即10年后再进行TLS bootstrapping 签署证书即可。

也就是说kubelet 首次访问API Server 时，是使用token 做认证，通过后，Controller Manager 会为kubelet生成一个证书，以后的访问都是用证书做认证了。
------------------------------------------


//查看角色:
kubectl get clusterroles | grep system:node-bootstrapper

//查看已授权的角色:
kubectl get clusterrolebinding

 

kubelet采用TLS Bootstrapping 机制，自 动完成到kube -apiserver的注册，在node节点量较大或者后期自动扩容时非常有用。
Master apiserver 启用TLS 认证后，node 节点kubelet 组件想要加入集群，必须使用CA签发的有效证书才能与apiserver 通信，当node节点很多时，签署证书是一件很繁琐的事情。因此Kubernetes 引入了TLS bootstraping 机制来自动颁发客户端证书，kubelet会以一个低权限用户自动向apiserver 申请证书，kubelet 的证书由apiserver 动态签署。

kubelet首次启动通过加载bootstrap.kubeconfig中的用户Token 和apiserver CA证书发起首次CSR请求，这个Token被预先内置在apiserver 节点的token.csv 中，其身份为kubelet-bootstrap 用户和system: kubelet- bootstrap用户组:想要首次CSR请求能成功(即不会被apiserver 401拒绝)，则需要先创建一个ClusterRoleBinding， 将kubelet-bootstrap 用户和system:node - bootstrapper内置ClusterRole 绑定(通过kubectl get clusterroles 可查询)，使其能够发起CSR认证请求。

TLS bootstrapping 时的证书实际是由kube-controller-manager组件来签署的，也就是说证书有效期是kube-controller-manager组件控制的; kube-controller-manager 组件提供了一个--experimental-cluster-signing-duration
参数来设置签署的证书有效时间:默认为8760h0m0s， 将其改为87600h0m0s， 即10年后再进行TLS bootstrapping 签署证书即可。

也就是说kubelet 首次访问API Server 时，是使用token 做认证，通过后，Controller Manager 会为kubelet生成一个证书，以后的访问都是用证书做认证了。

 

 

 

======在node1节点上操作======
//使用kubelet.sh脚本启动kubelet服务
cd /opt/
chmod +x kubelet.sh 
./kubelet.sh 192.168.50.11

//检查kubelet服务启动
ps aux | grep kubelet
//此时还没有生成证书
ls /opt/kubernetes/ssl/

======在master1 节点上操作======
//检查到node1 节点的kubelet 发起的CSR请求，Pending 表示等待集群给该节点签发证书.
kubectl get csr

//通过CSR请求
kubect1 certificate approve node-csr-NOI-9vufTLIqJgMWq4fHPNPHKbjCX1DGHptj7FqTa8A

//再次查看CSR请求状态，Approved, Issued表示已授权CSR请求并签发证书
kubectl get csr

//查看群集节点状态，成功加入node1节点
kubectl get nodes

 

 

======在node1节点上操作======
//自动生成了证书和kubelet.kubeconfig 文件
ls /opt/kubernetes/cfg/kubelet.kubeconfig
ls /opt/kubernetes/ssl/

//加载ip_vs模块
for i in $(ls /usr/lib/modules/$(uname -r)/kernel/net/netfilter/ipvs|grep -o "^[^.]*");do echo $i; /sbin/modinfo -F filename $i >/dev/null 2>&1 && /sbin/modprobe $i;done

//使用proxy.sh脚本启动proxy服务
cd /opt/
chmod +x proxy.sh 
./proxy.sh 192.168.50.11

systemctl status kube-proxy.service 

======node2 节点部署======
##方法一 :
//在node1 节点上将kubelet.sh、 proxy.sh 文件拷贝到node2 节点
cd /opt/
scp kubelet.sh proxy.sh root@192.168.50.12:/opt/

//使用kubelet.sh脚本启动kubelet服务
cd /opt/
chmod +x kubelet.sh 
./kubelet.sh 192.168.50.11

//在master1 节点上操作,检查到node2 节点的kubelet 发起的CSR请求，Pending 表示等待集群给该节点签发证书.
kubectl get csr

//通过CSR请求
kubect1 certificate approve node-csr-NOI-9vufTLIqJgMWq4fHPNPHKbjCX1DGHptj7FqTa8A

//再次查看CSR请求状态，Approved, Issued表示已授权CSR请求并签发证书
kubectl get csr

//查看群集节点状态，成功加入node1节点
kubectl get nodes

//在node2 节点 加载ip_vs模块
for i in $(ls /usr/lib/modules/$(uname -r)/kernel/net/netfilter/ipvs|grep -o "^[^.]*");do echo $i; /sbin/modinfo -F
filename $i >/dev/null 2>&1 && /sbin/modprobe $i;done

//使用proxy.sh脚本启动proxy服务
cd /opt/
chmod +x proxy.sh 
./proxy.sh 192.168.80.11

systemctl status kube-proxy.service

 

 

 

 

 

 总结：

准备cfssl证书生成工具
生成证书
准备etcd二进制包
生成etcd的配置文件和服务管理文件
启动etcd

把etcd01的配置文件，可执行文件，证书，etcd服务管理文件 复制到 etcd02 etcd03 节点上
etcd02 etcd03 修改 配置文件
启动etcd 加入集群

验证etcd集群状态


flannel  实现 不同 node 上的 pod 相互通信用的

flannel 会把内部的pod iP 封装到 upd 中 根据 在 etcd 保存的路由表 通过物理网卡发送给目的 node 
目的 node 在接受到转发来的数据后 由 flanneld 解封装 暴露出 udp 里的 内部 Pod ip ，再根据 目的Ip 由 flannel0 --> docker0 转发到目的 pod 中

使用etcdctl 在etcd 中添加 flannel 的网段和转发模式 upd、vxlan
准备 flannel 安装包
生成 docker 网络配置参数 并启动 flannel服务
修改 docker 启动参数，使docker0 网卡和 flannel网卡保持在一个网段里
验证 node 之间的容器通信是否正常

master 
node 

多Master 高可用 ， dashboard UI管理系统 安装起来


组件之间的通信  etcd 内部  2380，       外部  2379
master :  apiserver <---> controller-manager、scheduler 同一个节点上，127.0.0.1:8080  不需要证书  http
node :  kubelet、kube-proxy  <----> apiserver   https  6443


master
创建工作目录
生成证书
准备k8s软件包
生成 bootstrap token 认证文件
启动 apiserver 
启动 controller-manager、scheduler 
验证master组件状态


node
准备 kubelet  kube-proxy      启动，停止等操作 管理 kubelet和kube-proxy 进程用的

在master节点上准备 kubelet和kube-proxy 加入k8s 群集所要使用的 kubeconfig 文件，并传给 nodes 节点
    kubeconfig 加入 k8s 集群需要的 ca证书，tls证书和私有，bootstrap 的 token 信息 ，master的 apiserver IP+端口（6443）

node 节点启动 kubelet ， node节点的kubelet会向 master的apiserver 发起 CSR 认证请求
在 master 节点上 通过 CSR 认证， node 会自动生成 证书 ，以后的node的kubelet访问都会通过这个证书做认证

node节点上 加载 ipvs 模块， 启动 kube-proxy

k8s集群搭建：
etcd
flannel
master
node


多Master 高可用
从master01 复制 etcd,k8s 的证书，可执行文件，配置文档，master组件的服务管理文件 到 master02 节点
在master02 节点 修改 apiserver 的配置
启动 master 相关组件

部署 keepalived + LB（nginx,haproxy） 实现 高可用 和 负载均衡
keepalived 需要健康检查脚本来实现自动的故障切换
在 nodes 节点上修改 node相关组件的 kubeconfig 文件配置 ，把对接的server ip 指定为 VIP


dashboard
准备 yaml 文件
kubectl create -f  ...    创建 dashboard 需要的资源

kubectl get pods,svc -n kube-system   获取 dashboard 所在的 Node ip 和 Node port
https://NodeIP:NodePort
                 30001

谷歌浏览器问题
先创建证书
修改controller.yaml 配置
重新创建资源

令牌

hydrogen_balloon
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
kubernetes二进制集群部署——–多master集群（步骤非常详细，适合初学者）
01-09
文章目录一、多master节点集群搭建示意图二、部署环境—单 master 节点的 k8s集群三、添加 master2 多节点K8s集群3.1、在master1上拷贝重要文件给master23.2、master2修改复制的配置文件3.3、制作master2 的ETCD证书...
Kubernetes二进制部署（单Master节点）（理论部分，详细部署步骤在下一篇哦~）
王大雏的博客
08-13 318
Kubernetes二进制部署（理论部分，详细部署步骤在下一篇哦~）Kubernetes二进制部署一、环境准备二、部署etcd集群1、准备签发证书环境2、签发证书步骤3、etcd-cert.sh和etcd.sh脚本4、部署流程5、使用证书访问的工作流程:四、部署docker引擎五、flannel网络配置1、K8S 中Pod 网络通信:2、Flannel3、Flannel工作原理:4、搭建flannel（在node节点上配置）5、flannel的操作流程总结flannel的工作流程一、部署master组件二、
二进制部署Kubernetes
yongan11的博客
02-03 1823
操作系统 centos7.5_x86 docker 19ce 软件 Kubernetes 1.18 角色 k8s-master1 192.168.31.71 组件： kube-apiserver，kube-controller-manager，kube-scheduler k8s-node1 192.168.31.72 组件：kubelet，kube-proxy，docker etcd k8s-node2 192.168.31.73 组件：kubelet，kube-proxy，do...
kubernetes二进制部署单master节点
Dragon的博客
09-19 941
目录 1、安装要求 2、安装规划 3.1、分步骤操作 3.2、一键执行脚本 4.1、安装cfssl证书生成工具 4.2、创建认证中心（根CA中心） 4.3、使用自签CA签发Etcd证书 4.4、部署Etcd集群 5、部署Docker 6.1、创建认证中心（根CA中心） 6.2、使用自签CA签发kube-apiserver HTTPS证书 6.3、部署kube-apiserver组件 6.4、部署kube-controller-manager 6.5、部署kube-schedule
实验：详解单master节点用二进制部署K8S集群
Mr_ChenWJ的博客
11-23 354
目录一 单master节点用二进制部署K8S集群1.1 环境部署1.2 部署K8S集群中会用到的自签SSL证书1.3 实验操作步骤1.3.1 部署Etcd群集1.3.2 docker引擎部署1.3.3 flannel网络配置1.3.4 部署master1.3.5 node01部署1.3.6 node02部署 一 单master节点用二进制部署K8S集群 1.1 环境部署 主机名 IP地址 所需部署组件 master 20.0.0.101 kube-apiserver kube-control
K8S二进制部署---单节点master
.銀河狙擊手的博客
03-24 1679
一.环境准备 　先准备3台主机，首先搭建Master单节点集群。 　因为 Master 是整个 K8S 集群的大脑，没有 Master 接下来的每一步操作都会变得不可控。 　　　　同时我们需要在节点上同时搭建 etcd 存储集群： 　　　　在生产环境中会使用 etcd 集群做高可用，它的数目必须是3台或3台以上的奇数台。 　　　　etcd 存储单独部署可以节约存储，和 Master 放在一起方便内网通信节约机器。 　　　　只要能保证内网环境稳定和服务器数量充足，一般都会单独部署。 K8S 集群 Mas
Kubernetes部署Node组件
01-07
將kubernetes二进制文件中的kubelet， kube-proxy拷贝到三个节点/opt/k8s/bin 可以用SCP命令 在master节点创建一个配置文档： vim configure.sh token”89a0bea35e38d0db7d8d25cfa4bb7f4d”参考上一篇 #! /bin/bash...
k8s二进制文件以及docker二进制文件
03-09
kubectl label node 10.2.0.244 role=master (10.2.0.244 是我本机kubernetes 的master节点 ，所以我也将此master也部署在这里) 其余的两个节点分别是data 和 client 执行命令：kubectl create -f es-discovery...
kubernetes-ansible：使用Ansible将Kubeadm步骤转换为二进制安装步骤
02-06
Kubernetes-Ansible 该存储库正在使用Ansible部署二进制高可用性Kubernetes集群。 角色步骤使用官方部署工具Kubeadm。高可用性在127.0.0.1:8443上运行envoy负载平衡器的每个节点都代理kube-apiserver服务。 upstream...
Kubeode是一个kubernetes（简称：k8s）本土化二进制离线部署软件
05-10
特性：k8s集群二进制包一键化多master-HA基于内核负载高可用，支持centos7.3-7.9+kubernetes v1.23.5集群一键离线安装，一键批量增删node节点，一键集成k8s持久化方案Heketi+GlusterFS+nfs+helm3+动态存储+dns+ipvs+...
超详细，K8S二进制单节点Master部署，值得一看
一个不愿透露姓名的金先生
08-11 462
K8S二进制部署一、部署单节点master集群1、环境准备2、部署etcd集群在master节点上操作在node节点查看二、Flannel网络部署1、部署docker所有node节点部署docker 一、部署单节点master集群 1、环境准备 k8s集群master01：192.168.22.100 k8s集群node01：192.168.22.110 k8s集群node02：12.168.22.119 etcd集群节点1：192.168.22.100 etcd集群节点2：192.168.22.110
Kubernetes单master节点二进制部署
weixin_45693462的博客
05-04 523
单Master节点二进制部署平台架构图 Master节点： Master节点上面主要由四个模块组成，APIServer，schedule,controller-manager,etcd. apiserver apiserver负责对外提供RESTful的kubernetes API的服务，它是系统管理指令的统一接口，任何对资源的增删该查都要交给apiserver处理后再交给Etcd，如图，k...
Kubernetes单master二进制部署
Smile x
08-18 278
Kubernetes单节点二进制部署 一、常见的K8S部署方式:1.Minikube2.Kubeadmin3.二进制安装部著 二、二进制部署环境准备1.部署etcd（1）修改主机名，关闭防火墙（2）上传证书制作工具（k8smaster01上操作）（3）启动etcd服务（k8smaster01上操作）（4）修改node01和node02的配置文件（k8snode01和k8snode02） 2.部署docker引擎（在所有node节点上操作）3.flannel 网络配置概述（1）在 k8smas..
Kubernetes----二进制集群（单master节点部署)
XuMin6的博客
05-05 506
Kubernetes----二进制集群（单master节点部署) 一：实验环境 本次实验搭建部署是基于上一篇的基础上继续做的。 在 Master 上，要部署三大核心组件： kube-apiserver：是集群的统一入口，各组件协调者，所有对象资源的增删改查和监听操作都交给 APIServer 处理后再提交给 Etcd 存储； kube-controller-manager：处理群集中常规后台任务...
二进制部署Kubernetes集群（单Master节点)
kele_baba
08-12 448
一、部署etcd集群 etcd是Coreos团队于2013年6月发起的开源项目，它的目标是构建一个高可用的分布式键值(key-value)数据库。etcd内部采用raft协议作为一致性算法,etcd是go语言编写的。 1、etcd特点及端口 etcd 作为服务发现系统,有以下的特点: 简单: 安装配置简单，而且提供了HTTP API进行交互，使用也很简单安全:支持ssL证书验证 快速: 单实例支持每秒2k+读操作 可靠: 采用raft算法，实现分布式系统数据的可用性和一致性 etcd 日前默认使用2
Kubernetes-------二进制部署(一)
记忆的博客
08-11 423
K8S K8S 部署K8S常见的K8s按照部署方式MinikubeKubeadmin二进制安装部署环境准备一、K8S单master集群架构1.部署 etcd 集群2.准备签发证书环境3.在master01节点上操作1.下载证书制作工具2.创建k8s工作目录3.上传etcd-cert.sh和etcd.sh 到/opt/k8s/目录中4.创建用于生成CA证书、etcd服务器证书以及私钥的目录4.启动etcd服务1.etcd二进制包地址: https://github.com/etcd-io/etcd/rele
二进制安装kubernetes1.14.1
weixin_34274029的博客
05-14 1113
kubernetes安装 192.168.1.101 k8s-node02 192.168.1.73 k8s-node01 192.168.1.23 k8s-master01 下载：链接: https://pan.baidu.com/s/1dN51XMMNw8GbZ246YubVPQ 提取码: d3ca 环境初始化 停止iptables systemctl stop firewalld....
kubernetes 二进制部署
开开的博客
08-27 1173
kubernetes的五个组件 master节点的三个组件 kube-apiserver 整个集群的唯一入口，并提供认证、授权、访问控制、API注册和发现等机制。 kube-controller-manager 控制器管理器 负责维护集群的状态，比如故障检测、自动扩展、滚动更新等。保证资源到达期望值。 kube-scheduler 调度器 经过策略调度POD到合适的节点上面运行。分别有预选策略和优选策略。 node节点的两个组件 kubelet 在集群节点上运行的代理，kubelet会通过各
k8s二进制部署单节点
最新发布
09-12
要在单节点上部署 Kubernetes (K8s) 的二进制版本，您需要完成以下步骤： 1. 准备单个可用的主机，该主机应满足 Kubernetes 的最低硬件要求。 2. 安装操作系统：确保主机上安装了支持的操作系统，例如 Ubuntu、...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值