Kubernetes 集群 之 二进制安装部署（单Master节点）

---

前言

一、常见的K8S按照部署方式

Minikube

• Minikube是一个工具，可以在本地快速运行一个单节点微型K8s，仅用于学习、 预览K8S的一些特性使用，没有商业价值。
• 部署地址: https://kubernetes.io/docs/setup/minikube

Kubeadmin

• Kubeadmin也是一个工具，提供 yum安装 kubeadm init 和 kubeadm join，用于快速部署K8s集群，相对简单。
• 部署地址: https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm/
• 缺点：证书只有一年，修改证书有效期为 100 年（默认为 1 年）vim ./cmd/kubeadm/app/constants/constants.go，CertificateValidity =24.365.100 修改后需要重新编译和安装服务。

二进制安装部署

• 大型企业生产首选，从官方下载发行版的二进制包，手动部署每个组件 和 自签TLS证书，组成K8S集群，新手推荐。
• 有 zip 和 tar.gz 两个系统的包
• https://github.com/kubernetes/kubernetes/releases

Rancher

• https://rancher.com/docs/rancher/v1.6/zh/

二、安装部署分析

先搭建单Master 集群（企业都是多Master 节点高可用，暂时部署一台）

Master 节点

k8s集群master01	192.168.10.40	kube-apiserver、kube-controller-manage、kube-scheduler、etcd
k8s集群master02	192.168.10.70

Worker Node 节点

k8s集群node01	192.168.10.50	kubelet、kube-proxy、docker、flannel
k8s集群node02	192.168.10.60

ETCD（实验为了节省机器，和Master Node 节点共用机器）

etcd集群节点1	192.168.10.40
etcd集群节点2	192.168.10.50
etcd集群节点3	192.168.10.60

web服务负载均衡

负载均衡 nginx+keepalive01 (master)	192.168.10.111
负载均衡 nginx+keepalive02 (backup)	192.168.10.101

先所有机器关闭防火墙

systemctl stop firewalld
systemctl disable firewalld
setenforce 0

修改所有主机的主机名（方便部署）

hostnamectl set-hostname master01  10.40
hostnamectl set-hostname node01  10.50
hostnamectl set-hostname node02  10.60

ETCD 集群介绍：

• 使用三台 ETCD集群 实现高可用，可以容忍一台机器故障，如果使用5台，容忍2台机器故障，即容忍半数以上ETCD机器存活。
• ETCD集群也可以放在 Master 或 Node 节点的机器上，也可以独立部署在独立机器上。
• 注意点：ApiServer 和 ETCD 之间的通信需要CA证书进行加密；ETCD 与 ETCD 之间通信也需要通过证书加密，

Kubernetes 单 Master 集群 架构图如下：
暂时没有node3

三、首先部署ETCD集群

3.1 ETCD 介绍

• ETCD 是Coreos团队于2013年6月发起的开源项目，它的目标是构建一个高可用的分布式键值（key-value）数据库。
• ETCD 内部采用raft协议作为一致性算法，ETCD 是 GO 语言编写的。
• ETCD 作为服务发现系统，有以下的特点:
  • 简单：安装配置简单，而且提供了HTTP API进行交互，使用也很简单
  • 安全：支持SSL证书验证（需要创建签发证书）
  • 快速：单实例支持每秒2k+读操作
  • 可靠：采用raft算法，实现分布式系统数据的可用性和一致性

ETCD 端口：

• ETCD 目前默认使用 2379 端口 提供 HTTP API服务，
• 2380 端口 和 peer通信（这两个端口已经被IANA(互联网数字分配机构)官方预留给ETCD ）。
• 即 ETCD 默认使用 2379 端口对外为客户端提供通讯，使用端口 2380 来进行服务器间内部通讯。

ETCD 在生产环境中一般推荐集群方式部署。由于ETCD 的 Leader选举机制，要求至少为3台或以上的奇数台。

3.2 准备 CFSSL 证书签发环境

ETCD 通过CFSSL 生成证书。

CFSSL 是 CloudFlare 公司开源的一款 PKI/TLS 工具。CFSSI 包含一个命令行工具和一个用于签名、验证和捆绑TLS 证书的 HTTP API 服务。使用Go语言编写。

CFSSL 使用配置文件生成证书，因此自签之前，需要生成它识别的 .JSON 格式的配置文件，CFSSL 提供了方便的命令行生成配置文件。

CFSSL 用来为 ETCD 提供 TLS 证书，它支持签三种类型的证书：

1. client 证书，服务端连接客户端时携带的证书，用于客户端验证服务端身份，如 kube-apiserver 访问 ETCD;
2. server 证书，客户端连接服务端时携带的证书，用于服务端验证客户端身份，如 ETCD对外提供服务;
3. peer 证书，相互之间连接时使用的证书，如 ETCD节点之间 进行验证和通信。

这里全部都使用同一套证书认证。

3.3 环境部署

3.3.1 搭建 ETCD 步骤

环境准备：

etcd集群节点 node01	192.168.10.40
etcd集群节点 node02	192.168.10.50
etcd集群节点 node03	192.168.10.60

1. 需要准备 CFSSL 证书生成工具，用它来生成证书；
2. 准备 ETCD 二进制软件包；
3. 生成 ETCD 的配置文件和服务管理文件；
4. 启动 ETCD 服务；
5. 把经过上面一到四步骤在etcd01生成的配置文件、可执行文件、认证证书、etcd 服务管理文件，都复制到 etcd02，etcd03 节点上，分别在两台上修改配置文件中的节点名称与节点IP地址；
6. 分别启动etcd，加入到 ETCD 集群中；
7. 验证 ETCD 集群状态

主体架构：

• 三台 ETCD集群 实现高可用，容忍一台机器故障，即容忍半数以上ETCD机器存活。
• ETCD集群也可以放在 Master 或 Node 节点的机器上，也可以独立部署在独立机器上。这里为了节约机器 部署在Mster 和 Node机器上

3.3.2 下载准备 CFSSL 证书制作工具

Linux 中下载命令用 wget 和 curl -L 重定向

wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64 -o /usr/local/bin/cfssl
wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64 -o /usr/local/bin/cfssljson
wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64 -0 /usr/local/bin/cfssl-certinfo

或

curl -L https://pkg.cfssl.org/R1.2/cfssl_linux-amd64 -o /usr/local/bin/cfss
curl -L https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64 -o /usr/local/bin/cfssljson
curl -L https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64 -o /usr/local/bin/cfssl-certinfo

下载CFSSL 证书工具后，放到 /usr/local/bin/ 目录中，为了全局能执行cfssl命令，赋予可执行权限
chmod +x /usr/local/bin/cfssl*
文件介绍：

• cfssl：证书签发的工具命令
• cfssljson：将cfssl 生成的证书（json格式）变为文件承载式证书cfssl-certinfo:验证证书的信息
• cfssl-certinfo：-cert<证书名称> #查看证书的信息

创建 k8s 工作目录

mkdir /opt/k8s
cd/opt/k8s/

3.3.3 上传 etcd-cert.sh 和 etcd.sh 到 /opt/k8s/ 目录中

chmod +x etcd-cert.sh etcd.sh
#创建用于生成CA证书、etcd服务器证书 以及 私钥的目录

mkdir /opt/k8s/etcd-cert
mv etcd-cert.sh etcd-cert/
cd /opt/k8s/etcd-cert/
./etcd-cert.sh
#执行etcd-cert.sh脚本文件生成CA证书、etcd服务器证书以及私钥

etcd-cert.sh 用来定义签发根证书的信息，包括证书期限，JSON 格式。

特别说明： cfssl 和 openssl 有一些区别，openssl需要先生成私钥，然后用私钥生成请求文件，最后生成签名的证书和私钥等；而cfssl可以直接得到请求文件，不需要先生成私钥。

server.pem 证书用于客户端服务端通信的认证
ca.pem 证书用于验证是否合法

3.3.4 安装 ETCD 服务

#上传 etcd-v3.3.10-linux-amd64.tar.gz 到/opt/k8s/目录中，解压etcd 压缩包
cd/opt/k8s/
tar zxvf etcd-v3.3.10-linux-amd64.tar.gz
ls etcd-v3.3.10-linux-amd64

etcd：就是etcd 服务的启动命令，后面可跟各种启动参数
etcdctl：主要为etcd 服务提供了命令行操作

创建用于存放etcd 配置文件，命令文件，证书的目录

mkdir -p /opt/etcd/{
   cfg,bin,ssl}
mv /opt/k8s/etcd-v3.3.10-linux-amd64/etcd /opt/k8s/etcd-v3.3.10-linux-amd64/etcdctl /opt/etcd/bin/
cp /opt/k8s/etcd-cert/ *.pem /opt/etcd/ssl/      #所有的pem证书移过去

创建启动脚本 etcd.sh

./etcd.sh etcd01 192.168.10.40 etcd02=https://192.168.10.50:2380,etcd03=https://192.168.10.60:2380
#会发现卡住了，是因为在等待其他节点加入，
#这里需要三台etcd服务同时启动，如果只启动其中一台后，服务会卡在那里，直到集群中所有etcd节点都已启动，可忽略这个情况

#另外打开一个窗口查看etcd进程是否正常
ps -ef | grep etcd

新开窗口发现服务已启动

etcd.sh 脚本内容如下

#!/bin/bash
# example: ./etcd.sh etcd01 192.168.10.40 etcd02=https://192.168.10.50:2380,etcd03=https://192.168.10.60:2380

#创建etcd配置文件/opt/etcd/cfg/etcd
ETCD_NAME=$1
ETCD_IP=$2
ETCD_CLUSTER=$3

WORK_DIR=/opt/etcd

cat > $WORK_DIR/cfg/etcd  <<EOF
#[Member]
ETCD_NAME="${ETCD_NAME}"
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="https://${ETCD_IP}:2380"
ETCD_LISTEN_CLIENT_URLS="https://${ETCD_IP}:2379"

#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://${ETCD_IP}:2380"
ETCD_ADVERTISE_CLIENT_URLS="https://${ETCD_IP}:2379"
ETCD_INITIAL_CLUSTER="etcd01=https://${ETCD_IP}:2380,${ETCD_CLUSTER}"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"
EOF

#Member:成员配置
#ETCD_NAME：节点名称，集群中唯一。成员名字，集群中必须具备唯一性，如etcd01
#ETCD_DATA_DIR：数据目录。指定节点的数据存储目录，这些数据包括节点ID，集群ID，集群初始化配置，Snapshot文件，若未指定-wal-dir，还会存储WAL文件；如果不指
定会用缺省目录

cat <<EOF >/usr/lib/systemd/system/etcd.service		#定义ectd的启动脚本
[Unit]								#基本项			
Description=Etcd Server					#类似为 etcd 服务
After=network.target					#vu癌症
After=network-online.target
Wants=network-online.target
[Service]						#服务项
Type=notify
EnvironmentFile=${
   WORK_DIR}/cfg/etcd	#etcd文件位置
ExecStart=${
   WORK_DIR}/bin/etcd \			#准启动状态及以下的参数
--name=\${
   ETCD_NAME} \
--data-dir=\${
   ETCD_DATA_DIR} \
--listen-peer-urls=\${
   ETCD_LISTEN_PEER_URLS} \
--listen-client-urls=\${
   ETCD_LISTEN_CLIENT_URLS},http://127.0.0.1:2379 \
--advertise-client-urls=\${
   ETCD_ADVERTISE_CLIENT_URLS} \ #以下为群集内部的设定
--initial-advertise-peer-urls=\${
   ETCD_INITIAL_ADVERTISE_PEER_URLS} \
--initial-cluster=\${
   ETCD_INITIAL_CLUSTER} \
--initial-cluster-token=\${
   ETCD_INITIAL_CLUSTER_TOKEN} \	#群集内部通信，也是使用的令牌，为了保证安全（防范中间人窃取）
--initial-cluster-state=new \
--cert-file=${
   WORK_DIR}/ssl/server.pem \		#证书相关参数
--key-file=${
   WORK_DIR}/ssl/server-key.pem \
--peer-cert-file=${
   WORK_DIR}/ssl/server.pem \
--peer-key-file=${
   WORK_DIR}/ssl/server-key.pem \
--trusted-ca-file=${
   WORK_DIR}/ssl/ca.pem \
--peer-trusted-ca-file=${
   WORK_DIR}/ssl/ca.pem
Restart=on-failure
LimitNOFILE=65536					#开放最多的端口号

[Install]
WantedBy=multi-user.target
EOF

#--listen-client-urls：用于指定etcd和客户端的连接端口
#--advertise-client-urls：用于指定etcd服务器之间通讯的端口，etcd有要求，如果--listen-client-urls被设置了，那么就必须同时设置--advertise-client-urls，所
以即使设置和默认相同，也必须显式设置
#--peer开头的配置项用于指定集群内部TLS相关证书（peer 证书），这里全部都使用同一套证书认证
#不带--peer开头的的参数是指定 etcd 服务器TLS相关证书（server 证书），这里全部都使用同一套证书认证

systemctl daemon-reload
systemctl enable etcd
systemctl restart etcd

3.3.5 配置 ETCD 集群

把 etcd 相关证书文件 和 命令文件全部拷贝到另外两个etcd集群节点，生成证书的文件都一样，所以证书是通用的。

#在192.168.10.40机器上 复制所有etcd文件
scp -r /opt/etcd/ root@192.168.10.50:/opt/
scp -r /opt/etcd/ root@192.168.10.60:/opt/

#复制etcd 启动服务
scp etcd.service root@192.168.10.50:/usr/lib/systemd/system/
scp etcd.service root@192.168.10.60:/usr/lib/systemd/system/

node02 node03 分别执行 vim /opt/etcd/cfg/etcd

#以 192.168.10.60