Etcd教程 — 第四章 Etcd集群安全配置_etcd 集群配置

2.2 下载 cfssl

/usr/local/src 下载

cd /usr/local/src

wget https://github.com/cloudflare/cfssl/releases/download/v1.6.1/cfssl_1.6.1_linux_amd64

wget https://github.com/cloudflare/cfssl/releases/download/v1.6.1/cfssljson_1.6.1_linux_amd64

wget https://github.com/cloudflare/cfssl/releases/download/v1.6.1/cfssl-certinfo_1.6.1_linux_amd64

#拷贝文件到/usr/local/bin/目录下

cp cfssl_1.6.1_linux_amd64 /usr/local/bin/cfssl

cp cfssljson_1.6.1_linux_amd64 /usr/local/bin/cfssljson

cp cfssl-certinfo_1.6.1_linux_amd64 /usr/local/bin/cfssl-certinfo

2.3 赋予执行权限

chmod +x /usr/local/bin/cfssl*

2.4 查看安装结果

cfssl version

结果:

[root@etcd01 src]# cfssl version
Version: 1.6.1
Runtime: go1.12.12

3 TLS 加密实践

3.1 介绍

client certificate: 用于服务端认证客户端,例如etcdctl、etcd proxy、fleetctl、docker客户端。
server certificate: 服务端使用,客户端以此验证服务端身份,例如docker服务端、kube-apiserver。
peer certificate: 双向证书,用于etcd集群成员间通信。

3.2 配置CA并创建TLS证书

仅需要在单个节点上生成相关证书即可,然后再把证书复制到其他节点上。

3.2.1 创建ca配置文件 (ca-config.json)

"ca-config.json":可以定义多个 profiles,分别指定不同的过期时间、使用场景等参数;后续在签名证书时使用某个 profile;

"signing":表示该证书可用于签名其它证书;生成的 ca.pem 证书中 CA=TRUE;

"server auth":表示client可以用该 CA 对server提供的证书进行验证;

"client auth":表示server可以用该CA对client提供的证书进行验证;

/opt/cfssl/ 下创建配置文件

vim ca-config.json

{
    "signing": {
        "default": {
            "expiry": "87600h"
        },
        "profiles": {
            "etcd": {
                "expiry": "87600h",
                "usages": [
                    "signing",
                    "key encipherment",
                    "server auth",
                    "client auth"
                ]
            }
        }
    }
}

3.2.2 创建ca证书签名(ca-csr.json)

“CN”:Common Name,从证书中提取该字段作为请求的用户名 (User Name);浏览器使用该字段验证网站是否合法;
“O”:Organization,从证书中提取该字段作为请求用户所属的组 (Group);
这两个参数在后面的kubernetes启用RBAC模式中很重要,因为需要设置kubelet、admin等角色权限,那么在配置证书的时候就必须配置对了,具体后面在部署kubernetes的时候会进行讲解。
“在etcd这两个参数没太大的重要意义,跟着配置就好。”

创建配置文件

vim ca-csr.json

{
    "CN": "etcd CA",
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "L": "shanghai",
            "ST": "shanghai"
        }
    ]
}

3.2.3 生成ca证书和私钥
cfssl gencert -initca ca-csr.json | cfssljson -bare ca

ls
ca-config.json  ca-csr.json ca.csr ca.pem(ca公钥) ca-key.pem(ca私钥,妥善保管)

3.3 生成etcd server端证书

3.3.1 新建ca配置文件 (server-csr.json)

vim server-csr.json

{
    "CN": "etcd",
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "hosts": [
    "192.168.1.221",
    "192.168.1.222",
    "192.168.1.223"
    ],
    "names": [
        {
            "C": "CN",
            "L": "shanghai",
            "ST": "shanghai"
        }
    ]
}

3.3.2 生成etcd server证书和私钥
cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=etcd server-csr.json | cfssljson -bare server

ls
ca-config.json  ca-csr.json  ca-key.pem  ca.csr  ca.pem  server-csr.json  server-key.pem  server.csr  server.pem

3.4 复制证书到另外两台主机

将证书放到其他节点的同个位置上。

4 Etcd集群加入TLS证书

4.1 Etcd集群各节点信息

在这里插入图片描述

4.2 Etcd集群各节点配置

编辑各节点上的配置文件

vim /etc/etcd/etcd.conf

加入TLS证书的配置

# [Security]
ETCD\_TRUSTED\_CA\_FILE="/opt/cfssl/ca.pem"
ETCD\_CERT\_FILE="/opt/cfssl/server.pem"
ETCD\_KEY\_FILE="/opt/cfssl/server-key.pem"
ETCD\_PEER\_TRUSTED\_CA\_FILE="/opt/cfssl/ca.pem"
ETCD\_PEER\_CERT\_FILE="/opt/cfssl/server.pem"
ETCD\_PEER\_KEY\_FILE="/opt/cfssl/server-key.pem"

ETCD\_CLIENT\_CERT\_AUTH="true"
ETCD\_AUTO\_TLS="true"
ETCD\_PEER\_CLIENT\_CERT\_AUTH="true"
ETCD\_PEER\_AUTO\_TLS="true"

4.2.1 节点1完整配置
#########################################################
########### 请根据各节点服务器实际情况修改配置 ############
#########################################################
#[Member]
#1.节点名称,必须唯一
ETCD\_NAME="etcd01"
 
#2.设置数据保存的目录
ETCD\_DATA\_DIR="/var/lib/etcd"
 
#3.本节点机器用于监听其他节点的url,url是本机上的2380
ETCD\_LISTEN\_PEER\_URLS="http://192.168.1.221:2380"
 
#4.建议本节点用于和其他节点之间通信的url,且会通告集群的其余成员节点
ETCD\_INITIAL\_ADVERTISE\_PEER\_URLS="http://192.168.1.221:2380"

#5.本节点机器用于和客户端通信的url,url是本机上的 2379
ETCD\_LISTEN\_CLIENT\_URLS="http://192.168.1.221:2379,http://127.0.0.1:2379"
 
#[Clustering]
#6.建议本节点和客户端通信使用的url
ETCD\_ADVERTISE\_CLIENT\_URLS="http://192.168.1.221:2379"
 
#7.集群中所有节点的信息
ETCD\_INITIAL\_CLUSTER="etcd01=http://192.168.1.221:2380,etcd02=http://192.168.1.222:2380,etcd03=http://192.168.1.223:2380"
 
#8.创建集群的token,这个值每个集群均相同
ETCD\_INITIAL\_CLUSTER\_TOKEN="148e7b13-51fc-4cc8-965b-a7c9d58c18f5"
 
#9.初始集群状态,新建集群的时候,这个值为new,后续再启动时需要将“new”更改为“existing”
ETCD\_INITIAL\_CLUSTER\_STATE="new"
 
#10.flannel操作etcd使用的是v2的API,而kubernetes操作etcd使用的v3的API
# 为了兼容flannel,将默认开启v2版本,故配置文件中设置 
ETCD\_ENABLE\_V2="true"

# [Security]
ETCD\_TRUSTED\_CA\_FILE="/opt/cfssl/ca.pem"
ETCD\_CERT\_FILE="/opt/cfssl/server.pem"
ETCD\_KEY\_FILE="/opt/cfssl/server-key.pem"
ETCD\_PEER\_TRUSTED\_CA\_FILE="/opt/cfssl/ca.pem"
ETCD\_PEER\_CERT\_FILE="/opt/cfssl/server.pem"
ETCD\_PEER\_KEY\_FILE="/opt/cfssl/server-key.pem"

ETCD\_CLIENT\_CERT\_AUTH="true"
ETCD\_AUTO\_TLS="true"
ETCD\_PEER\_CLIENT\_CERT\_AUTH="true"
ETCD\_PEER\_AUTO\_TLS="true"


4.2.2 节点2完整配置
#########################################################
########### 请根据各节点服务器实际情况修改配置 ############
#########################################################
#[Member]
#1.节点名称,必须唯一
ETCD\_NAME="etcd02"
 
#2.设置数据保存的目录
ETCD\_DATA\_DIR="/var/lib/etcd"
 
#3.本节点机器用于监听其他节点的url,url是本机上的2380
ETCD\_LISTEN\_PEER\_URLS="http://192.168.1.222:2380"
 
#4.建议本节点用于和其他节点之间通信的url,且会通告集群的其余成员节点
ETCD\_INITIAL\_ADVERTISE\_PEER\_URLS="http://192.168.1.222:2380"

#5.本节点机器用于和客户端通信的url,url是本机上的 2379
ETCD\_LISTEN\_CLIENT\_URLS="http://192.168.1.222:2379,http://127.0.0.1:2379"
 
#[Clustering]
#6.建议本节点和客户端通信使用的url
ETCD\_ADVERTISE\_CLIENT\_URLS="http://192.168.1.222:2379"
 
#7.集群中所有节点的信息
ETCD\_INITIAL\_CLUSTER="etcd01=http://192.168.1.221:2380,etcd02=http://192.168.1.222:2380,etcd03=http://192.168.1.223:2380"
 
#8.创建集群的token,这个值每个集群均相同
ETCD\_INITIAL\_CLUSTER\_TOKEN="148e7b13-51fc-4cc8-965b-a7c9d58c18f5"
 
#9.初始集群状态,新建集群的时候,这个值为new,后续再启动时需要将“new”更改为“existing”
ETCD\_INITIAL\_CLUSTER\_STATE="new"
 
#10.flannel操作etcd使用的是v2的API,而kubernetes操作etcd使用的v3的API
# 为了兼容flannel,将默认开启v2版本,故配置文件中设置 
ETCD\_ENABLE\_V2="true"

# [Security]
ETCD\_TRUSTED\_CA\_FILE="/opt/cfssl/ca.pem"
ETCD\_CERT\_FILE="/opt/cfssl/server.pem"
ETCD\_KEY\_FILE="/opt/cfssl/server-key.pem"
ETCD\_PEER\_TRUSTED\_CA\_FILE="/opt/cfssl/ca.pem"
ETCD\_PEER\_CERT\_FILE="/opt/cfssl/server.pem"
ETCD\_PEER\_KEY\_FILE="/opt/cfssl/server-key.pem"

ETCD\_CLIENT\_CERT\_AUTH="true"
ETCD\_AUTO\_TLS="true"
ETCD\_PEER\_CLIENT\_CERT\_AUTH="true"
ETCD\_PEER\_AUTO\_TLS="true"

4.2.3 节点3完整配置
#########################################################
########### 请根据各节点服务器实际情况修改配置 ############
#########################################################
#[Member]
#1.节点名称,必须唯一
ETCD\_NAME="etcd03"
 
#2.设置数据保存的目录
ETCD\_DATA\_DIR="/var/lib/etcd"
 
#3.本节点机器用于监听其他节点的url,url是本机上的2380
ETCD\_LISTEN\_PEER\_URLS="http://192.168.1.223:2380"
 
#4.建议本节点用于和其他节点之间通信的url,且会通告集群的其余成员节点
ETCD\_INITIAL\_ADVERTISE\_PEER\_URLS="http://192.168.1.223:2380"

#5.本节点机器用于和客户端通信的url,url是本机上的 2379
ETCD\_LISTEN\_CLIENT\_URLS="http://192.168.1.223:2379,http://127.0.0.1:2379"
 
#[Clustering]
#6.建议本节点和客户端通信使用的url
ETCD\_ADVERTISE\_CLIENT\_URLS="http://192.168.1.223:2379"
 
#7.集群中所有节点的信息
ETCD\_INITIAL\_CLUSTER="etcd01=http://192.168.1.221:2380,etcd02=http://192.168.1.222:2380,etcd03=http://192.168.1.223:2380"
 
#8.创建集群的token,这个值每个集群均相同
ETCD\_INITIAL\_CLUSTER\_TOKEN="148e7b13-51fc-4cc8-965b-a7c9d58c18f5"
 
#9.初始集群状态,新建集群的时候,这个值为new,后续再启动时需要将“new”更改为“existing”
ETCD\_INITIAL\_CLUSTER\_STATE="new"
 
#10.flannel操作etcd使用的是v2的API,而kubernetes操作etcd使用的v3的API
# 为了兼容flannel,将默认开启v2版本,故配置文件中设置 
ETCD\_ENABLE\_V2="true"

# [Security]
ETCD\_TRUSTED\_CA\_FILE="/opt/cfssl/ca.pem"
ETCD\_CERT\_FILE="/opt/cfssl/server.pem"
ETCD\_KEY\_FILE="/opt/cfssl/server-key.pem"
ETCD\_PEER\_TRUSTED\_CA\_FILE="/opt/cfssl/ca.pem"
ETCD\_PEER\_CERT\_FILE="/opt/cfssl/server.pem"
ETCD\_PEER\_KEY\_FILE="/opt/cfssl/server-key.pem"

ETCD\_CLIENT\_CERT\_AUTH="true"
ETCD\_AUTO\_TLS="true"
ETCD\_PEER\_CLIENT\_CERT\_AUTH="true"
ETCD\_PEER\_AUTO\_TLS="true"

4.3 清除旧数据

修改各节点/etc/etcd/etcd.conf文件后,要先删除/var/lib/etcd目录下保存的数据。

cd /var/lib/etcd && rm -rf *

注意:删除后需要加入权限,否则在启动时可能会失败,报错原因是没有权限

{“level”:“warn”,“ts”:1656209184.8809907,“caller”:“fileutil/fileutil.go:57”,“msg”:“check file permission”,“error”:“directory “/var/lib/etcd” exist, but the permission is “drwxr-xr-x”. The recommended permission is “-rwx------” to prevent possible unprivileged access to the data”}

chmod 700 /var/lib/etcd/ -R

4.4 启动/查看etcd服务

systemctl daemon-reload && systemctl enable etcd && systemctl start etcd && systemctl status etcd

启动结果:
在这里插入图片描述

4.5 停止/重启:

systemctl stop etcd
systemctl restart etcd

4.6 验证

通过三台服务器的控制台可以知道,集群已经成功建立,我们进行验证:

4.6.1 命令中不加入证书配置

查看集群健康状态:

etcdctl endpoint health

显示结果:

127.0.0.1:2379 is healthy: successfully committed proposal: took = 18.521778ms

查看集群成员:

etcdctl member list

显示结果:

3f165fc003d39e4, started, etcd02, http://192.168.1.222:2380, http://192.168.1.222:2379, false
5d2b35506710acb7, started, etcd03, http://192.168.1.223:2380, http://192.168.1.223:2379, false
803d149841581109, started, etcd01, http://192.168.1.221:2380, http://192.168.1.221:2379, false

写操作:

[root@etcd01 etcd]# etcdctl put hello world
OK

读操作:

[root@etcd01 etcd]# etcdctl get hello
hello
world

本节点上进行的写操作,也能在其他节点上使用读操作查看到写入的信息。

4.6.2 命令中加入证书配置【待定】

查看集群健康状态:

etcdctl --cacert=/opt/cfssl/ca.pem --cert=/opt/cfssl/server.pem --key=/opt/cfssl/server-key.pem --endpoints="https://192.168.1.221:2379,https://192.168.1.222:2379,https://192.168.1.223:2379"  endpoint health

# 会报错,暂未找到解决办法,可能目前的版本再查看集群健康状态时不需要加入证书配置【个人观点】:
{"level":"warn","ts":"2022-06-26T19:41:35.534+0800","logger":"client","caller":"v3/retry\_interceptor.go:62","msg":"retrying of unary invoker failed","target":"etcd-endpoints://0xc0002db340/192.168.1.222:2379","attempt":0,"error":"rpc error: code = DeadlineExceeded desc = latest balancer error: last connection error: connection error: desc = \"transport: authentication handshake failed: EOF\""}
{"level":"warn","ts":"2022-06-26T19:41:35.534+0800","logger":"client","caller":"v3/retry\_interceptor.go:62","msg":"retrying of unary invoker failed","target":"etcd-endpoints://0xc0002dafc0/192.168.1.223:2379","attempt":0,"error":"rpc error: code = DeadlineExceeded desc = latest balancer error: last connection error: connection error: desc = \"transport: authentication handshake failed: EOF\""}
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值