etcd3 安装与运维

最新推荐文章于 2024-04-20 09:53:56 发布
最新推荐文章于 2024-04-20 09:53:56 发布
阅读量1.2k 收藏 1
点赞数
文章标签： awk python 后端
原文链接：https://my.oschina.net/eonezhang/blog/3038156
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

一、软件下载

etcd最新版可以从官网github中下载，地址是https://github.com/etcd-io/etcd/releases,本次安装使用的版本是当前最新版本v3.3.12

二、环境准备

要部署集群需要至少三台服务器，因为etcd是基于raft协议实现数据一致性，所以安装的节点数量最好是奇数，方便做选举。这里我们准备的三台服务器如下：

主机名IP地址
master0110.70.68.122
master0210.70.67.149
master0310.70.67.150

确保三台主机之间的网络可以互通。

三、安装

1. 安装

在主机上创建目录/opt/apps/etcd, 并在下面创建data和conf目录。

2. 配置

  • A. master01的配置文件/opt/apps/etcd/conf/config.yml如下
name: etcd-1
data-dir: /opt/apps/etcd/data
listen-client-urls: http://10.70.68.122:2379,http://127.0.0.1:2379
advertise-client-urls: http://10.70.68.122:2379,http://127.0.0.1:2379
listen-peer-urls: http://10.70.68.122:2380
initial-advertise-peer-urls: http://10.70.68.122:2380
initial-cluster: etcd-1=http://10.70.68.122:2380,etcd-2=http://10.70.67.149:2380,etcd-3=http://10.70.67.150:2380
initial-cluster-token: etcd-cluster-token
initial-cluster-state: new
  • B. master02的配置文件/opt/apps/etcd/conf/config.yml如下
name: etcd-2
data-dir: /opt/apps/etcd/data
listen-client-urls: http://10.70.67.149:2379,http://127.0.0.1:2379
advertise-client-urls: http://10.70.67.149:2379,http://127.0.0.1:2379
listen-peer-urls: http://10.70.67.149:2380
initial-advertise-peer-urls: http://10.70.67.149:2380
initial-cluster: etcd-1=http://10.70.68.122:2380,etcd-2=http://10.70.67.149:2380,etcd-3=http://10.70.67.150:2380
initial-cluster-token: etcd-cluster-token
initial-cluster-state: new
  • C. master03的配置文件/opt/apps/etcd/conf/config.yml如下
name: etcd-3
data-dir: /opt/apps/etcd/data
listen-client-urls: http://10.70.67.150:2379,http://127.0.0.1:2379
advertise-client-urls: http://10.70.67.150:2379,http://127.0.0.1:2379
listen-peer-urls: http://10.70.67.150:2380
initial-advertise-peer-urls: http://10.70.67.150:2380
initial-cluster: etcd-1=http://10.70.68.122:2380,etcd-2=http://10.70.67.149:2380,etcd-3=http://10.70.67.150:2380
initial-cluster-token: etcd-cluster-token
initial-cluster-state: new
  • D. 更新etcd系统默认配置 我们要使用etcd v3的版本，系统默认的版本是v2，通过下面的命令修改配置。
vi /etc/profile

在文件末尾追加：

export ETCDCTL_API=3

使文件生效

source /etc/profile
  • E. 配置systemd服务 vi /usr/lib/systemd/system/etcd.service
[Unit]
Description=Etcd Server
After=network.target
After=network-online.target
Wants=network-online.target
 
[Service]
Type=notify
WorkingDirectory=/opt/apps/etcd/
# User=etcd
ExecStart=/opt/apps/etcd/etcd --config-file=/opt/apps/etcd/conf/config.yml
Restart=on-failure
LimitNOFILE=65536
 
[Install]
WantedBy=multi-user.target
  • F. Centos6及以下版本使用service方式管理etcd启动脚本 vi /etc/init.d/etcd
#!/bin/bash
#chkconfig: - 99 01
## 
#description: Etcd Server
case $1 in
    start)
    /opt/apps/etcd/etcd --config-file=/opt/apps/etcd/conf/config.yml &
    
    ;;
    stop)
    ps -ef | grep etcd| grep -v grep | awk '{print $2}'| xargs kill -QUIT

    ;;
    *)
    echo Usage:`basename $0 start|stop|restart`
esac

修改权限chmod +x /etc/init.d/etcd

添加服务 chkconfig --add etcd

设置开机自启动 chkconfig --level 3 etcd on

验证启动情况 chkconfig --list etcd

  • G. 启动集群

在所有结点上运行service etcd start启动etcd服务

四、测试

  • 查看集群状态
etcdctl --write-out="table" --endpoints='10.70.67.150:2379,10.70.67.149:2379,10.70.68.122:2379' endpoint status

五、运维相关

A. 快照定期数据备份

crontab定期执行备份脚本，每半小时备份一次，本地、异地都备份。

#!/bin/bash
#
ETCDCTL_PATH='/opt/apps/etcd/etcdctl'
ENDPOINTS='10.70.67.150:2379,10.70.67.149:2379,10.70.68.122:2379'
BACKUP_DIR='/opt/apps/backup'
DATE=`date +%Y%m%d-%H%M%S`
[ ! -d $BACKUP_DIR ] && mkdir -p $BACKUP_DIR
export ETCDCTL_API=3;$ETCDCTL_PATH --endpoints=$ENDPOINTS snapshot save $BACKUP_DIR/snapshot-$DATE\.db
cd $BACKUP_DIR;ls -lt $BACKUP_DIR|awk '{if(NR>11){print "rm -rf "$9}}'|sh

B. 镜像集群备份

1. 实时全量数据同步
nohup etcdctl make-mirror <destination>  &> /apps/logs/etcdmirror.log &

/apps/logs/etcdmirror.log会保存已经同步的key数量，每30s打印一次

2. 定期数据同步

crontab定期数据同步，为避免数据遭到误删除清空造成灾难性影响，可恢复上一个同步周期之前的数据

#!/bin/bash
#
ETCDCTL_PATH='/apps/svr/etcd/bin/etcdctl'
ENDPOINTS='10.70.67.150:2379,10.70.67.149:2379,10.70.68.122:2379'
DEST_ENDPOINT='10.70.67.151:2389'
CMD="$ETCDCTL_PATH make-mirror --endpoints=$ENDPOINTS $DEST_ENDPOINT"
BaseName=$(basename $BASH_SOURCE)
export ETCDCTL_API=3
$CMD & echo $! > /tmp/$BaseName\.pid
sleep 90
kill `cat /tmp/$BaseName\.pid`

C. 镜像集群备份

1. 集群故障恢复

为了从灾难性故障中恢复，etcd v3提供了快照和恢复功能，以便在没有v3密钥数据丢失的情况下重新创建群集. 要恢复集群，只需要一个快照“db”文件。集群恢复将etcdctl snapshot restore创建新的etcd数据目录; 所有成员应该使用相同的快照进行恢复。恢复会覆盖某些快照元数据（特别是成员ID和群集ID）; 该成员失去了其以前的身份。此元数据覆盖可防止新成员无意中加入现有群集。因此，为了从快照启动集群，还原必须启动新的逻辑集群。

在还原时可以选择验证快照完整性。如果使用快照etcdctl snapshot save，它将具有通过检查的完整性散列etcdctl snapshot restore。如果快照是从数据目录复制的(配置文件中的data-dir)，则不存在完整性哈希，并且只能使用恢复--skip-hash-check。

etcdctl snapshot restore snapshot.db \
  --name etcd-1 \
  --initial-cluster etcd-1=http://10.70.68.122:2380,etcd-2=http://10.70.67.149:2380,etcd-3=http://10.70.67.150:2380 \
  --initial-advertise-peer-urls http://10.70.68.122:2380

etcdctl snapshot restore snapshot.db \
  --name etcd-2 \
  --initial-cluster etcd-1=http://10.70.68.122:2380,etcd-2=http://10.70.67.149:2380,etcd-3=http://10.70.67.150:2380 \
  --initial-advertise-peer-urls http://10.70.67.149:2380

etcdctl snapshot restore snapshot.db \
  --name etcd-3 \
  --initial-cluster etcd-1=http://10.70.68.122:2380,etcd-2=http://10.70.67.149:2380,etcd-3=http://10.70.67.150:2380 \
  --initial-advertise-peer-urls http://10.70.67.150:2380

待数据恢复完毕后，启动服务

service etcd start

D. 镜像集群备份

1. 集群维护
  • 查看现有成员
ENDPOINTS='10.70.67.150:2379,10.70.67.149:2379,10.70.68.122:2379'
etcdctl --write-out="table" --endpoints="$ENDPOINTS" member list
  • 删除成员
ENDPOINTS='10.70.67.150:2379,10.70.67.149:2379,10.70.68.122:2379'
etcdctl --endpoints="$ENDPOINTS" member remove memberid
  • 新增成员
ENDPOINTS='10.70.67.150:2379,10.70.67.149:2379,10.70.68.122:2379'
etcdctl --endpoints="$ENDPOINTS" member add member-name --peer-urls=http://10.70.67.150:2380

删除新增成员旧数据目录，并且启动新增成员etcd服务，加入集群时要改下配置文件，把初始化集群状态由new改成existing

E. etcd v2数据迁移到v3版本

ENDPOINTS='10.70.67.150:2379,10.70.67.149:2379,10.70.68.122:2379'
# 迁移前，需要逐台服务停止
service etcd stop
# 迁移数据,数据目录根据实际填写
export ETCDCTL_API=3
etcdctl --endpoints=$ENDPOINT migrate --data-dir="/opt/apps/etcd/data" --wal-dir="/opt/apps/etcd/data/member/wal"

# 逐台服务启动
service etcd start
# 检查确认数据已经迁移
export ETCDCTL_API=3;etcdctl --endpoints=$ENDPOINTS get /foo
F. 历史数据压缩

key空间长期的时候，如果没有做压缩清理，到达上限的阈值时，集群会处于一个只能删除和读的状态，无法进行写操作。因此对集群的历史日志做一个压缩清理是很有必要。

数据压缩并不是清理现有数据，只是对数据的历史版本进行清理，清理后数据的历史版本将不能访问，但不会影响现有最新数据的访问。

  • 手动压缩
#压缩清理revision为10之前的历史数据
etcdctl compaction 10
 
#访问revision10之前的数据会提示已经不存在
etcdctl get aa --rev=9
Error:  etcdserver: mvcc: required revision has been compacted
  • 自动压缩

使用--auto-compaction-retention=1，表示每小时进行一次数据压缩。

  • 碎片清理

进行compaction操作之后，旧的revision被压缩，会产生内部的碎片，内部碎片是指空闲状态的，能被后端使用但是仍然消耗存储空间的磁盘空间。去碎片化实际上是将存储空间还给文件系统。

etcdctl defrag

五、总结

  • etcd集群恢复

etcd集群与zk集群相似，建议采用基数设备来搭建集群，可用性为(N-1)/2，假设集群数量N是3台设备，可最多可故障1台设备，而不影响集群使用。

  • leader故障

当leader故障时，etcd集群会自动选择一个新leader，由于失败检测模型是基于超时的（heartbeat-interval），因此选举新leader需要大约选举超时。 在leader选举期间，集群不能处理任何写入操作。在选举期间发送的写入请求排队等待处理，直到选出新的leader。

已经发送给old leader但尚未提交的文字可能会丢。新leader有权重写old leader的任何未提交的条目。从用户的角度来看，一些写入请求可能会超时，但是，没有提交的写入会丢失。

转载于:https://my.oschina.net/eonezhang/blog/3038156

weixin_34377065
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
ansible 安装etcd3集群
01-22
使用时，编辑etcd-host.txt，将要部署etcd集群的集群主机名或者IP写入，组名为etcd [etcd] etcd-1 etcdname=etcd1 ...etcd-3 etcdname=etcd3 然后执行 ansible-playbook -i etcd-host.txt etcdinstall.yml
爱上开源之etcd管理工具etcdv3-browser的安装
06-16 3165
前面的有关etcd管理工具boot4go-etcd-browser的一系列文章都是重点介绍的通过etcdv3-browser进行etcd的管理功能，文章发表后，也受到了一些朋友的关注，都比较关注如何在自己的环境里搭建etcdv3-browser的环境， 在etcdv3-browser的项目说明文档里已经介绍了安装的方式，鉴于本人的英文水平不够，在项目的md文档里描述可能不清，所以特别今天在这里详细的介绍一下etcdv3-browser的安装方式。etcdv3-browser是使用纯原生的html和JS语言开
CentOS 7 RPM方式安装Python3
oneslide
11-12 2254
CentOS 7.7+版本不用执行，之前版本需要安装一个这个repo库。提供一些较为新的软件版本（包含Python3） yum install https://repo.ius.io/ius-release-el$(rpm -E '%{rhel}').rpm 安装Python3 yum install -y python3
探秘 `python-etcd3`：Python中的Etcd客户端库
最新发布
gitblog_00026的博客
04-20 327
探秘 python-etcd3：Python中的Etcd客户端库 项目地址:https://gitcode.com/kragniz/python-etcd3 在分布式系统和微服务架构中，Etcd是一个广泛使用的键值存储服务，它提供了高可用性和一致性保证。而python-etcd3是Python社区为对接Etcd 3.x版本专门开发的一个强大的客户端库。本文将详细介绍这个项目的技术特性，应用场景，以...
k8s中api-server报错，watch chan error: etcdserver: mvcc: required revision has been compacted
weixin_44207346的博客
01-02 656
watch chan error: etcdserver: mvcc: required revision has been compacted
请小心ETCD的Compact
csdnYF的博客
09-19 1431
本文想讨论一些ETCD的使用注意事项，ETCD作为一个分布式KV数据库，作用有很多，下面以用ETCD作为配置中心来举例，用到了ETCD关键的两个功能：Watch和Revision。Watch可以实时推送配置变更，而Revision可以回溯配置的历史变更列表。关于Revision的概念，请参考在ETCD中，老实说对Revision的概念支持的不是很好，虽然标榜自己是可以回溯历史版本的，但我找了半天，除了一个--rev参数，没有找到更多的API来利用这些历史版本。可以通过。
etcd 笔记（02）— etcd 安装（apt 或 yum 安装 、二进制包安装、Docker 安装 etcd、etcd 前端工具 etcdkeeper、etcdv3-browser）
wohu1104的专栏
04-27 4727
1. 使用 apt 或 yum 安装 etcd 命令如下： sudo apt-get install etcd 或者 sudo yum install etcd 这样安装的缺点是：安装的 etcd 版本过低为 2.2.5，该版本使用 Go 的版本为 1.6 如下所示： wohu@ubuntu-dev:~$ etcd 2021-04-17 09:18:52.987281 I | etcdmain: etcd Version: 2.2.5 2021-04-17 09:18:52.987309 I | etc
docker镜像etcd-3.4.18
04-02
利用博客（https://blog.csdn.net/qq_34777982/article/details/123924095）...3.查看镜像：docker images | grep etcd 4.利用该镜像创建容器或者推到本地的harbor docker run 或者docker push 希望可以帮助有需要的人
Etcd3静态集群部署
03-19
etcd比较多的应用场景是用于服务发现与配置共享，值得注意的是，分布式系统中的数据分为控制数据和应用数据。使用etcd的场景默认处理的数据都是控制数据，对于应用数据，只推荐数据量很小，但是更新访问频繁的情况。...
Rancher平台部署与运维.docx
06-24
2. Rancher PaaS平台部署 3 2.1. 软硬件环境需求 3 2.1.1. 硬件要求 3 2.1.2. 操作系统要求 4 2.1.3. 软件要求 4 2.1.4. 网络要求 5 2.1.5. 主机名要求 5 2.2. 规划集群拓扑 5 2.2.1. 开发、测试环境拓扑（单Etcd、...
二进制包etcd-v3.4.18-linux-amd64.tar.gz
04-02
etcd二进制包，版本3.4.18，系统架构amd64，适用服务器linux操作系统，docker容器。 此文件主要可以用于在Linux服务器上安装或者使用二进制构建docker容器镜像，部署在k8s集群或者docker-compose集群内。
etcd3.4.3安装.md
11-03
etcd3.4.3是2019年10月23号打包发布的版本，因为比较新，所以和之前的安装教程不一样，这里简单记录一下安装
etcdv3.2.tar.gz 安装包
12-29
etcd版本.，需要的小伙伴可以下载!
e2d3-contrib
04-29
E2D3 E2D3是用于在Excel上使用D3.jsJavaScript库。 要求 Excel 2013或Excel Online（开发不是必需的。您也可以使用MacOSX开发图表。） 安装 $ npm install -g e2d3 运行开发服务器 $ git clone https://github.com/e2d3/e2d3-contrib.git $ cd e2d3-contrib $ e2d3 [E2D3] Publish /Users/chimera/Sites/e2d3-server/e2d3/contrib [E2D3] Webserver started at http://0.0.0.0:8000 [E2D3] Webserver(SSL) started at https://0.0.0.0:8443 然后访问 如何添加数据可视化 请参考 （） 执照
etcd-3.3.12
02-28
etcd用途很多，可以做服务发现、配置中心等，是一个重要的组件，在devops平台的建设过程中建议选型，etcd-3.3.12版本源码，安装方法参考其他文档。
k8s安装过程遇到的问题
归来仍少年
09-28 6855
一、etcd集群部署遇到的问题 1.etcd.serverice启动报错，显示–logger=zap有问题 解决：修改配置文件，去掉该参数，重新启动服务 2.publish error: etcdserver: request timed out，由于etcd集群没有同时启动导致 解决：在部署了etcd的节点上，同时启动etcd服务systemctl start etcd 3.error #1: dial tcp 127.0.0.1:2379: connect: connection refused，由于参
Etcd v3.4.12 高可用集群搭建及运维
Kason_iWiki
10-29 1792
文章目录1. etcd 简介2. etcd 主要功能3. etcd 集群规划4. etcd 部署4.1 证书签发4.2 二进制安装4.3 集群健康检查 1. etcd 简介 https://etcd.io/docs/v3.4.0/ Etcd 3.4版本发布说明，解决大规模并发性能问题 coreos 开发的分布式服务系统，内部采用 raft 协议作为一致性算法。作为服务发现系统，有以下的特点： 简单：安装配置简单，而且提供了 HTTP API 进行交互，使用也很简单 安全：支持 SSL 证书验证 快速：根据官
python 操作 etcd
hllyzms的博客
12-26 3766
使用模块 https://github.com/kragniz/python-etcd3 安装 pip install etcd3 模块使用文档连接 import etcd3 etcd = etcd3.client() etcd.get('foo') etcd.put('bar', 'doot') etcd.delete('bar')
etcd 运维
wjw7869的专栏
10-13 234
1.秘钥生成 etcd单台部署，启用https以及ca自签名_DevOps海洋的渔夫@专栏-CSDN博客 2.启动指定配置文件生成的格式必须是yml，和默认的etcd.conf不一样 etcd --config-file etcd.conf.yml 3.设置环境变量可以方便使用 export ETCDCTL_API=3 export ETCDCTL_CACERT=/etc/kubernetes/ssl/ca.pem export ETCDCTL_CERT=/etc/etcd/ssl/etc...
云原生分布式存储基石:etcd深入解析 pdf 下载
07-29
3. etcd的应用场景：了解etcd在实际场景中的应用，比如容器编排、微服务架构、分布式事务等。 4. etcd的最佳实践和性能优化：学习如何正确配置和使用etcd，在实际应用中获取最佳性能和稳定性。 《云原生分布式存储...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值