Docker 系列之 docker-compose 部署 etcd 集群（三节点 + Keepalived）

于 2024-08-15 20:42:17 发布
阅读量1k 收藏 17
点赞数 14
分类专栏： Docker 文章标签： docker etcd 容器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43239389/article/details/141231337
版权

文章目录

docker-compose 部署 三节点 + Keepalived

一、机器规划

准备三台机器，在每台机器上，计划各安装一个 etcd

机器IP节点节点端口
10.250.81.129etcd2379/2380
10.250.81.130etcd2379/2380
10.250.81.131etcd2379/2380

二、etcd 集群准备工作

创建 nfs 目录

在 nfs 服务的机器上创建挂载目录，etcd 中的 /bitnami/etcd 都持久化到nfs中

#!/bin/bash

mkdir /data/nfs/etcd{1,2,3} -p
chmod 777 /data/nfs -R

cat >>/etc/exports <<EOF
/data/nfs/etcd1 *(rw,sync,no_root_squash)
/data/nfs/etcd2 *(rw,sync,no_root_squash)
/data/nfs/etcd3 *(rw,sync,no_root_squash)
EOF

exportfs -r

在三台机器上创建 docker-compose.yml 文件

  • etcd1 docker-compose.yml 文件
version: "3"
services:
  etcd1:
    image: bitnami/etcd:latest
    container_name: etcd1
    restart: always
    ports:
      - "2379:2379"
      - "2380:2380"
    environment:
      BITNAMI_DEBUG:
      ALLOW_NONE_AUTHENTICATION: yes #示例中我们不设置密码
      ETCD_NAME: etcd1 #节点自己的名字
      ETCD_DATA_DIR: /bitnami/etcd/data #数据目录
      ETCD_LOG_LEVEL: INFO
      ETCD_ADVERTISE_CLIENT_URLS: http://10.250.81.129:2379,http://10.250.81.130:2379,http://10.250.81.131:2379  #告知集群自己的客户端地址
      ETCD_LISTEN_CLIENT_URLS: http://0.0.0.0:2379 #设置监听客户端通讯的URL列表
      ETCD_INITIAL_ADVERTISE_PEER_URLS: http://10.250.81.129:2380 #告知集群自己集群通讯地址
      ETCD_LISTEN_PEER_URLS: http://0.0.0.0:2380 #用于监听伙伴通讯的URL列表
      ETCD_INITIAL_CLUSTER_TOKEN: etcd-cluster #etcd 集群的初始化集群记号
      ETCD_INITIAL_CLUSTER: etcd1=http://10.250.81.129:2380,etcd2=http://10.250.81.130:2380,etcd3=http://10.250.81.131:2380 #集群成员
      ETCD_INITIAL_CLUSTER_STATE: new #初始化集群状态
    volumes:
      - volume-etcd:/bitnami/etcd
    deploy:
      resources:
        limits:
          cpus: '4'
          memory: 8G
        reservations:
          cpus: '2'
          memory: 4G

volumes:
  volume-etcd:
    driver_opts:
      type: nfs
      o: addr=10.250.81.131,nolock,soft,rw
      device: ":/data/nfs/etcd0"
  • etcd2 docker-compose.yml 文件
version: "3"
services:
  etcd2:
    image: bitnami/etcd:latest
    container_name: etcd2
    restart: always
    ports:
      - "2379:2379"
      - "2380:2380"
    environment:
      BITNAMI_DEBUG:
      ALLOW_NONE_AUTHENTICATION: yes
      ETCD_NAME: etcd2
      ETCD_DATA_DIR: /bitnami/etcd/data
      ETCD_LOG_LEVEL: INFO
      ETCD_ADVERTISE_CLIENT_URLS: http://10.250.81.129:2379,http://10.250.81.130:2379,http://10.250.81.131:2379
      ETCD_LISTEN_CLIENT_URLS: http://0.0.0.0:2379
      ETCD_INITIAL_ADVERTISE_PEER_URLS: http://10.250.81.130:2380
      ETCD_LISTEN_PEER_URLS: http://0.0.0.0:2380
      ETCD_INITIAL_CLUSTER_TOKEN: etcd-cluster
      ETCD_INITIAL_CLUSTER: etcd1=http://10.250.81.129:2380,etcd2=http://10.250.81.130:2380,etcd3=http://10.250.81.131:2380
      ETCD_INITIAL_CLUSTER_STATE: new
    volumes:
      - volume-etcd:/bitnami/etcd
    deploy:
      resources:
        limits:
          cpus: '4'
          memory: 8G
        reservations:
          cpus: '2'
          memory: 4G

volumes:
  volume-etcd:
    driver_opts:
      type: nfs
      o: addr=10.250.81.131,nolock,soft,rw
      device: ":/data/nfs/etcd2"
  • etcd3 docker-compose.yml 文件
version: "3"
services:
  etcd3:
    image: bitnami/etcd:latest
    container_name: etcd3
    restart: always
    ports:
      - "2379:2379"
      - "2380:2380"
    environment:
      BITNAMI_DEBUG:
      ALLOW_NONE_AUTHENTICATION: yes
      ETCD_NAME: etcd3
      ETCD_DATA_DIR: /bitnami/etcd/data
      ETCD_LOG_LEVEL: INFO
      ETCD_ADVERTISE_CLIENT_URLS: http://10.250.81.129:2379,http://10.250.81.130:2379,http://10.250.81.131:2379
      ETCD_LISTEN_CLIENT_URLS: http://0.0.0.0:2379
      ETCD_INITIAL_ADVERTISE_PEER_URLS: http://10.250.81.131:2380
      ETCD_LISTEN_PEER_URLS: http://0.0.0.0:2380
      ETCD_INITIAL_CLUSTER_TOKEN: etcd-cluster
      ETCD_INITIAL_CLUSTER: etcd1=http://10.250.81.129:2380,etcd2=http://10.250.81.130:2380,etcd3=http://10.250.81.131:2380
      ETCD_INITIAL_CLUSTER_STATE: new
    volumes:
      - volume-etcd:/bitnami/etcd
    deploy:
      resources:
        limits:
          cpus: '4'
          memory: 8G
        reservations:
          cpus: '2'
          memory: 4G

volumes:
  volume-etcd:
    driver_opts:
      type: nfs
      o: addr=10.250.81.131,nolock,soft,rw
      device: ":/data/nfs/etcd3"

三、 启动 etcd 服务

分别在三台机器上执行启动命令

# 启动命令
docker-compose -f docker-compose.yml up -d
验证集群状态
  • 查看集群成员
I have no name!@ac43b7254a32:/opt/bitnami/etcd$ etcdctl --write-out=table member list
+------------------+---------+-------+---------------------------+-------------------------------------------------------------------------------+------------+
|        ID        | STATUS  | NAME  |        PEER ADDRS         |                                 CLIENT ADDRS                                  | IS LEARNER |
+------------------+---------+-------+---------------------------+-------------------------------------------------------------------------------+------------+
|  2500541642bb58d | started | etcd2 | http://10.250.81.130:2380 | http://10.250.81.129:2379,http://10.250.81.130:2379,http://10.250.81.131:2379 |      false |
| 75fa006823810232 | started | etcd3 | http://10.250.81.131:2380 | http://10.250.81.129:2379,http://10.250.81.130:2379,http://10.250.81.131:2379 |      false |
| a6cb2842d9d7cff8 | started | etcd1 | http://10.250.81.129:2380 | http://10.250.81.129:2379,http://10.250.81.130:2379,http://10.250.81.131:2379 |      false |
+------------------+---------+-------+---------------------------+-------------------------------------------------------------------------------+------------+
  • 查看本节点状态
I have no name!@ac43b7254a32:/opt/bitnami/etcd$ etcdctl --write-out=table endpoint status
+----------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+
|    ENDPOINT    |        ID        | VERSION | DB SIZE | IS LEADER | IS LEARNER | RAFT TERM | RAFT INDEX | RAFT APPLIED INDEX | ERRORS |
+----------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+
| 127.0.0.1:2379 | a6cb2842d9d7cff8 |   3.5.1 |   20 kB |      true |      false |         2 |         12 |                 12 |        |
+----------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+
  • 查看本节点健康状态
I have no name!@ac43b7254a32:/opt/bitnami/etcd$ etcdctl --write-out=table endpoint health
+----------------+--------+------------+-------+
|    ENDPOINT    | HEALTH |    TOOK    | ERROR |
+----------------+--------+------------+-------+
| 127.0.0.1:2379 |   true | 7.549647ms |       |
+----------------+--------+------------+-------+
测试读写
  • 在其中一个节点上进行写操作
I have no name!@ac43b7254a32:/opt/bitnami/etcd$ etcdctl put name "test"
OK
  • 在另一个节点上进行读操作
# docker exec -it etcd3 bash
I have no name!@ff3a9e476bda:/opt/bitnami/etcd$ etcdctl get name
name
test

四、安装 keepalived 并设置 VIP

安装keepalived
yum install -y keepalived;
#设置开机启动
systemctl enable keepalived
cp /usr/sbin/keepalived /etc/init.d/keepalived
chmod +x /etc/init.d/keepalived
check_haproxy_etcd.sh

当 etcd 挂掉，则返回1，keepalived 权重降低，主节点被抢占，让另外一台机器接手

vi /etc/keepalived/check_haproxy_etcd.sh

#!/bin/bash
counter=$(netstat -na|grep "LISTEN"|grep "2379"|wc -l)
if [ "${counter}" -eq 0 ]; then
  exit 1
else
  exit 0
fi

确保这个脚本有执行权限，并且正确地配置了监听端口。如果监控的服务端口不可用，脚本将返回非零值，这将导致Keepalived认为本地服务器失效，并开始VIP转移的过程。

chmod +x /etc/keepalived/check_haproxy_etcd.sh

keepalived.conf

编辑 keepalived 配置文件 /etc/keepalived/keepalived.conf

参考资料：https://blog.csdn.net/cnskylee/article/details/131591733

vi /etc/keepalived/keepalived.conf
  • master 机器配置内容
! Configuration File for keepalived
global_defs {
   # 指定router_id
   router_id ha01
   script_user root
}
vrrp_script check_haproxy_etcd {
   # 定义脚本
   script "/etc/keepalived/check_haproxy_etcd.sh"
   # 脚本执行间隔，每2s检测一次
   interval 2
}
vrrp_instance VI_5 {
   # 在ha1、ha2、ha3都为 BACKUP
   state BACKUP
   # 设置为不抢占，m1挂了，m2接管VIP,m1重启不会自动抢回VIP
   nopreempt
   # 具体根据网卡来
   interface bond0
   garp_master_delay 10
   smtp_alert
   # 指定虚拟路由器ID, ha1和ha2和h3此值必须相同
   virtual_router_id 70
   # 在ha2上为80、h3上为60
   priority 100
   # 本机ip
   unicast_src_ip 10.250.81.129
   unicast_peer {   
       #对端ip
       10.250.81.130
       10.250.81.131
   }
   advert_int 1
   authentication {
       auth_type PASS
       # 指定验证密码, ha1和ha2和h3此值必须相同
       auth_pass 123456
   }
   virtual_ipaddress {
        # 指定VIP, ha1和ha2和h3此值必须相同，这里可以使用
        10.250.81.248 dev bond0 label bond0:5
   }
   track_script {
       # 调用上面定义的脚本
       check_haproxy_etcd
   }
}
  • node1 机器配置内容
! Configuration File for keepalived
global_defs {
   # 指定router_id
   router_id ha01
   script_user root
}
vrrp_script check_haproxy_etcd {
   # 定义脚本
   script "/etc/keepalived/check_haproxy_etcd.sh"
   # 脚本执行间隔，每2s检测一次
   interval 2
}
vrrp_instance VI_5 {
   # 在ha1、ha2、ha3都为 BACKUP
   state BACKUP
   # 设置为不抢占，m1挂了，m2接管VIP,m1重启不会自动抢回VIP
   nopreempt
   # 具体根据网卡来
   interface bond0
   garp_master_delay 10
   smtp_alert
   # 指定虚拟路由器ID, ha1和ha2和h3此值必须相同
   virtual_router_id 70
   # 在ha2上为80、h3上为60
   priority 80
   # 本机ip
   unicast_src_ip 10.250.81.130
   unicast_peer {   
       #对端ip
       10.250.81.129
       10.250.81.131
   }
   advert_int 1
   authentication {
       auth_type PASS
       # 指定验证密码, ha1和ha2和h3此值必须相同
       auth_pass 123456
   }
   virtual_ipaddress {
        # 指定VIP, ha1和ha2和h3此值必须相同，这里可以使用
        10.250.81.248 dev bond0 label bond0:5
   }
   track_script {
       # 调用上面定义的脚本
       check_haproxy_etcd
   }
}
  • node2 机器配置内容
! Configuration File for keepalived
global_defs {
   # 指定router_id
   router_id ha01
   script_user root
}
vrrp_script check_haproxy_etcd {
   # 定义脚本
   script "/etc/keepalived/check_haproxy_etcd.sh"
   # 脚本执行间隔，每2s检测一次
   interval 2
}
vrrp_instance VI_5 {
   # 在ha1、ha2、ha3都为 BACKUP
   state BACKUP
   # 设置为不抢占，m1挂了，m2接管VIP,m1重启不会自动抢回VIP
   nopreempt
   # 具体根据网卡来
   interface bond0
   garp_master_delay 10
   smtp_alert
   # 指定虚拟路由器ID, ha1和ha2和h3此值必须相同
   virtual_router_id 70
   # 在ha2上为80、h3上为60
   priority 60
   # 本机ip
   unicast_src_ip 10.250.81.131
   unicast_peer {   
       #对端ip
       10.250.81.130
       10.250.81.129
   }
   advert_int 1
   authentication {
       auth_type PASS
       # 指定验证密码, ha1和ha2和h3此值必须相同
       auth_pass 123456
   }
   virtual_ipaddress {
        # 指定VIP, ha1和ha2和h3此值必须相同，这里可以使用
        10.250.81.248 dev bond0 label bond0:5
   }
   track_script {
       # 调用上面定义的脚本
       check_haproxy_etcd
   }
}
启动keepalived

systemctl start keepalived

查看keepalived状态

systemctl status keepalived

参考资料

https://blog.csdn.net/xingzuo_1840/article/details/125558919

火火火华
关注
专栏目录
实战教程：如何在CentOS7中使用Docker部署Keepalived和Nginx构建高可用Web集群
jks212454的博客
07-09 362
实战教程：如何在CentOS7中使用Docker部署Keepalived和Nginx构建高可用Web集群
docker-compose部署Jenkins_docker compose配置jenkins
2401_83740129的博客
04-17 1555
使用docker-compose部署Jenkins或多或少都会遇到这些问题，以下是使用docker-compose部署jenkins的过程中遇到的一些问题；2、在工作中，运维人员经常需要跟运营人员打交道，请问运营人员是做什么工作的?6、Squid、Varinsh和Nginx有什么区别，工作中你怎么选择?, 下面是修改用户的命令，注意修改成自己的用户名，执行完成之后再次使用。7、Tomcat和Resin有什么区别，工作中你怎么选择?，一个是本地映射到容器的配置项，一个是对容器的环境设置；
使用docker-compose部署etcd
Kingtu_linux的博客
04-13 2016
1、环境 操作系统：Centos 7 docker版本：19.03.7 docker-compose版本：1.24.0 etcd 镜像版本： quay.io/coreos/etcd:v3.4.7 2、拉取官方镜像 $ docker pull quay.io/coreos/etcd:v3.4.7 3、docker-compose.yml 配置文件 version: "3" services:...
docker-compose搭建etcd集群（三节点）
运维玄德公
07-01 1846
1. 环境说明 2. 部署 etcd1 etcd2 etcd3 3. 验证
docker-compose 部署 etcd
独一无二的小个性
04-28 5061
参考官方的 release 信息整理 docker-compse 编排文件的配置参数，实现一键创建 etcd 容器，并演示相关操作。 docker 部署 etcd docker-compse.yml 配置文件 version: '2.2' services: etcd: image: quay.io/coreos/etcd:v3.3.12 container_name: etc...
docker-compose搭建etcd集群
太阳上的雨天
07-10 715
docker-compose搭建etcd集群
docker-compose自动部署etcd-v3
kinshy的博客
12-16 1739
1、环境 操作系统：Centos 7 docker版本：19.03.8 docker-compose版本：1.25.4 etcd 镜像版本： quay.io/coreos/etcd:v3.5.4
基于docker-compose实现haproxy+keepalived+teleport的负载均衡和高可用1
08-04
主机名IP地址操作系统组件备注环境说明架构图目录结构配置文件docker-compose配置文件keepalived配置文件keepalived检测脚本hapr
Docker-Compose部署tomcat与redis及mysql
Friendsofthewind的博客
11-11 2334
部署流程： 导入镜像 安装docker-compose容器编排工具 创建配置文件 运行 验证 步骤： 技巧：镜像也可不事先下载，执行命令会自动下载，但是那样会很慢！！！ 1、 导入镜像 提示：实验环境导入前先保证，防火墙关闭，安全策略关闭，docker正常启动；版本不要过高，有些版本部分场景会报错！ docker load -i tomcat163.tar //tomcat镜像 docker load -i mysql5.7.tar //MySQL镜像 docker load -i red
CentOS下 Docker、Docker Compose 的安装教程_centos安装docker-compose(4)
最新发布
2401_83621426的博客
05-05 463
为了做好运维面试路上的助攻手，特整理了上百道，让你面试不慌心不跳，高薪offer怀里抱！这次整理的面试题，本份面试集锦涵盖了1、什么是运维?2、在工作中，运维人员经常需要跟运营人员打交道，请问运营人员是做什么工作的?3、现在给你三百台服务器，你怎么对他们进行管理?4、简述raid0 raid1raid5二种工作模式的工作原理及特点5、LVS、Nginx、HAproxy有什么区别?工作中你怎么选择?6、Squid、Varinsh和Nginx有什么区别，工作中你怎么选择?
compose-etcd:docker compose etcd集群
05-12
撰写 很难找到其中之一。 先决条件 安装了MacOS的Docker需要满足以下条件 使用以下命令更新主机文件： 172.16.238.11 etcd-0 172.16.238.12 etcd-1 172.16.238.13 etcd-2 添加别名 $ sudo ifconfig lo0 alias 172.16.238.11 $ sudo ifconfig lo0 alias 172.16.238.12 $ sudo ifconfig lo0 alias 172.16.238.13 用法 启动集群： $ docker-compose up -d 停止集群： $ docker-compose down 验证集群的运行状况： $ source .env $ etcdctl --endpoints ${ENDPOINTS} cluster-health 执照 麻省理工学院
etcd教程(一)---通过docker安装etcd集群
探索云原生
02-27 4179
本文主要记录了如何通过docker-compose来搭建etcd，包括单节点和集群模式及其web监控。 1. 单节点 1. 目录结构 /usr/local/docker/etcd --/data --docker-compose.yml 2. docker-compose.yml version: '3' network
docker-compose部署etcd 集群
清风
10-19 962
docker-compose单机搭建etcd 集群编写docker-compose.yml运行docker-compose检查搭建状态查看节点启动情况查看挂载的数据卷测试节点从etcd1写一个key从etcd2读一个valueGolang 与 etcd 简单交互 编写docker-compose.yml version: "3.0" networks: etcd-net: # 网络 driver: bridge # 桥接模式 volumes: etcd1_dat
docker-compose搭建etcd cluster + etcd keeper +etcd grpc-proxy
Niklauson的博客
03-14 1065
https://www.cnblogs.com/flippedxyy/p/15558777.html
用 docker-compose搭建Etcd集群
嗷菌の程序猿学习记录
01-12 1317
Etcd 高可以的分布式 key-value 系统，是 CoreOS 团队发起的一个开源项目（Go语言实现的），简单直接的应用就是配置中心 etcd 和 ZooKeeper/Consul 非常相似，都提供了类似的功能，以及 REST API 的访问操作，具有以下特点： 1.简单：安装和使用简单，提供了 REST API 进行操作交互 2. 安全：支持 HTTPS SSL 证书 3. 快速：支持并发...
docker-compose 搭建 etcd 集群
走在成长的路上
04-06 2530
搭建etcd集群 准备工作 安装好 docker 与 docker-compose 下载etcd镜像：docker pull bitnami/etcd:latest 最好关闭防火墙。如果遇到外部主机能ping通linux，但是不能访问docker容器的情况，需要开启防火墙，然后再关掉防火墙，最后重启docker即可。 docker-compose.yml version: "3.0" networks: etcd-net: # 网络 driver: bridge
docker篇-(docker-compose安装etcd高可用集群)
qq_42413011的博客
04-10 2470
docker-compose安装etcd高可用集群构建etcd镜像生成ssl证书安装cfssl证书生成工具编写生成证书的配置文件编写ca根证书配置文件编写服务端认证证书配置文件编写客户端证书配置编写docker-compose.yml文件返回上级目录docker-compose.yml如下运行etcd集群查看集群状态 构建etcd镜像 这里我安装的etcd集群使用的是3.4.9版本的 1.下载etcd安装包,并解压 # cd到当前用户所在目录并创建etcd然后到etcd目录 cd ~ &&
使用docker-compose搭建haproxy+keepalived+teleport负载均衡高可用方案
该资源是关于使用Docker Compose实现Haproxy、Keepalived和Teleport相结合的负载均衡和高可用性方案的教程。在该环境中，两个节点（node1和node2）分别运行Haproxy、Keepalived、Nginx、Teleport和MySQL服务，以创建...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值