etcd数据库详解
架构
- HTTP Server: 用于处理用户发送的API请求以及其它etcd节点的同步与心跳信息请求。
- Store:用于处理etcd支持的各类功能的事务,包括数据索引、节点状态变更、监控与反馈、事件处理与执行等等,是etcd对用户提供的大多数API功能的具体实现。
- Raft:Raft强一致性算法的具体实现,是etcd的核心。
- WAL:Write Ahead Log(预写式日志),是etcd的数据存储方式。除了在内存中存有所有数据的状态以及节点的索引以外,etcd就通过WAL进行持久化存储。WAL中,所有的数据提交前都会事先记录日志。Snapshot是为了防止数据过多而进行的状态快照;Entry表示存储的具体日志内容。
etcd概念词汇表
- Raft:etcd所采用的保证分布式系统强一致性的算法。
- Node:一个Raft状态机实例。
- Member: 一个etcd实例。它管理着一个Node,并且可以为客户端请求提供服务。
- Cluster:由多个Member构成可以协同工作的etcd集群。
- Peer:对同一个etcd集群中另外一个Member的称呼。
- Client: 向etcd集群发送HTTP请求的客户端。
- WAL:预写式日志,etcd用于持久化存储的日志格式。
- snapshot:etcd防止WAL文件过多而设置的快照,存储etcd数据状态。
- Proxy:etcd的一种模式,为etcd集群提供反向代理服务。
- Leader:Raft算法中通过竞选而产生的处理所有数据提交的节点。
- Follower:竞选失败的节点作为Raft中的从属节点,为算法提供强一致性保证。
- Candidate:当Follower超过一定时间接收不到Leader的心跳时转变为Candidate开始竞选。
- Term:某个节点成为Leader到下一次竞选时间,称为一个Term。
- Index:数据项编号。Raft中通过Term和Index来定位数据
Kubernetes网络模式
Kubernetes与Docker网络有些不同。Kubernetes网络需要解决下面的4个问题
- 集群内:
- 容器与容器之间的通信
- Pod和Pod之间的通信
- Pod和服务之间的通信
- 集群外:
- 外部应用与服务之间的通信
同一个Pod中容器之间的通信
这种场景对于Kubernetes来说没有任何问题,根据Kubernetes的架构设计。Kubernetes创建Pod时,首先会创建一个pause容器,为Pod指派一个唯一的IP地址。然后,以pause的网络命名空间为基础,创建同一个Pod内的其它容器(–net=container:xxx)。因此,同一个Pod内的所有容器就会共享同一个网络命名空间,在同一个Pod之间的容器可以直接使用localhost进行通信。
不同Pod中容器之间的通信
flannel会在每一个宿主机上运行名为flanneld代理,其负责为宿主机预先分配一个子网,并为Pod分配IP地址。Flannel使用Kubernetes或etcd来存储网络配置、分配的子网和主机公共IP等信息。数据包则通过VXLAN、UDP或host-gw这些类型的后端机制进行转发。
Flannel网络详解
概述
- Flannel项目会在每一个节点上运行一个名为flanneld的守护进程,它负责在一个全局的大的子网网段中给当前节点分配一个小的子网网段,它可以与Kubernetes API Server进行通信来存储数据,或者直接将数据存储在Etcd中。数据包可以通过包括Vxlan和host-gw在内的一些方式来实现跨节点的通信。
- Kubernetes会给每一个Pod分配一个IP地址,这个IP地址在当前集群中唯一,并且可以通过路由直达。这种网络模型的好处是避免了端口映射等方案中在节点上共享同一个IP地址的复杂性。Flannel在一个集群的多个节点之间提供了一个三层网络,Flannel本身并不负责节点上的pod与当前节点之间的连接(可以通过flannel、gateway等CNI Plugin来实现这部分的功能
实验环境
角色 | IP地址 | 操作系统 | 软件包 |
mster | 192.168.179.150 | Centos7-4 | etcd-v3.3.10-linux-amd64.tar.gz kubernetes-server-linux-amd64.tar.gz |
node1 | 192.168.179.151 | Centos7-4 | flannel-v0.10.0-linux-amd64.tar.gz |
node2 | 192.168.179.152 | Centos7-4 | flannel-v0.10.0-linux-amd64.tar.gz |
部署网络环境,配置固定IP地址
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=61a00dac-a101-4f57-9af4-c4bc792aecde
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.179.150
NETMASK=255.255.255.0
GATEWAY=192.168.179.2
DNS1=192.168.179.2
node1节点IP
192.168.179.151
node2节点IP
192.168.179.152
关闭网络功能,使其IP地址不可以变动
systemctl stop NetworkManager
systemctl enaable NetworkManager
清空防火墙规则
iptables -F
永久关闭保护功能
setenforce 0
vim /etc/selinux/config
SELINUX=disabled(enabled改为disabled)
三个节点服务器都要更改
node1节点服务器与node2节点服务器安装docker-ce
安装依赖包
yum install -y yum-utils device-mapper-persistent-data lvm2
加载docker源
yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
安装docker
yum install -y docker-ce
开启docker服务
systemctl start docker
systemctl enable docker
镜像加速
cd /etc/docker 服务开启之后生成
tee /etc/docker/daemon.json <<-'EOF'
{
"registry-mirrors": ["https://o0lhkgnw.mirror.aliyuncs.com"]
}
EOF
重新加载
systemctl daemon-reload
重启服务
systemctl restart docker
master服务器配置
创建工作目录
mkdir /root/k8s
创建存放证书目录
cd /root/k8s
mkdir etcd-cert
//下载创建证书工具
vim cfssl.sh
curl -L https://pkg.cssl.org/R1.2/cfssl linux amd64 -o /usr/local/bin/cfssl
curl -L https://pkg.cfssl.org/R1.2/crssljson linux-amd64 -o /usr/local/bin/cfssljson
curl -L https://pkgcfssl.org/R1.2/cfssl-certinfo linux-amd64 -o /usr/local/bin/cfssl-certinfo
chmod +x /sr/local/bin/cfssl /usr/loca/bin/crssljson /usr/local/bin/cfssl-certinfo
//执行脚本下载cfssl官方包
bash cfssl.sh
[root@localhost k8s]# ls /usr/local/bin/
cfssl cfssl-certinfo cfssljson
定义ca证书
cd /root/k8s/etcd-cert/
vim ca-config.json
{
"signing": {
"default": {