目录
迁移方法简介
对于elasticsearch迁移,目前主要有三种方式,分别为快照、logstash和elasticsearch-dump。其中logstash需要两个es集群在同一个局域网下,通过源和目标的方式进行数据迁移;elasticsearch-dump可以按需将数据备份后,再进行恢复,但是速度非常慢;快照方式可异地恢复,但恢复的集群es版本不可低于备份集群的版本。
就以上特性,根据自己的实际需求,进行选择。但综合起来快照方式的局限性和易操作性最小,因此推荐该种方式。
迁移前提条件及准备
备份源的es 版本要等于低于恢复elasticsearch集群的版本;
备份源和恢复集群均需配置快照地址,即参数:path.repo。具体查看“修改配置文件”相关信息。
备份源和恢复集群的节点都要为快照目录建立目录共享,一般建议采用nfs的方式进行目录共享,因此备份源和恢复集群elasticsearch所使用的用户、属主要一致,尤其是用户及属主的UID和GID要保持一致,以便nfs挂载共享目录后均具有与elasticsearch运行时一致的用户属主及ID。
为快照目录建立共享
- 备份源的elasticsearch集群和恢复数据的集群,均需分别建立共享目录,此处一并举例,不再分别赘述。
NFS服务端配置
安装nfs服务
yum install -y nfs-utils
启动nfs服务
#启动nfs服务
systemctl start nfs
#设置nfs开机自启动
systemctl enable nfs
#查看nfs服务状态
systemctl status nfs
#重启nfs服务
systemctl restart nfs
编辑共享目录配置
vim /etc/exports
- 添加如下内容:
/home/es/snapshot 10.8.12.7(rw,no_root_squash,no_all_squash,sync) 10.8.12.8(rw,no_root_squash,no_all_squash,sync)
常用配置参数:
参数 | 参数说明 |
---|---|
ro | 只读访问 |
rw | 读写访问 |
sync | 所有数据在请求时写入共享 |
async | NFS在写入数据前可以相应请求 |
secure | NFS通过1024以下的安全TCP/IP端口发送 |
insecure | NFS通过1024以上的端口发送 |
wdelay | 如果多个用户要写入NFS目录,则归组写入(默认) |
no_wdelay | 如果多个用户要写入NFS目录,则立即写入,当使用async时,无需此设置 |
Hide | 在NFS共享目录中不共享其子目录 |
no_hide | 共享NFS目录的子目录 |
subtree_check | 如果共享/usr/bin之类的子目录时,强制NFS检查父目录的权限(默认) |
no_subtree_check | 和上面相对,不检查父目录权限 |
all_squash | 共享文件的UID和GID映射匿名用户anonymous,适合公用目录 |
no_all_squash | 保留共享文件的UID和GID(默认) |
root_squash | root用户的所有请求映射成如anonymous用户一样的权限(默认) |
no_root_squash | root用户具有根目录的完全管理访问权限 |
anonuid=xxx | 指定NFS服务器/etc/passwd文件中匿名用户的UID |
anongid | 指定NFS服务器/etc/passwd文件中匿名用户的GID |
加载共享配置
exportfs -rv
NFS客户端配置
共享挂载选项
参数 | 参数说明 |
---|---|
async/sync | 执行时是否使用同步读取方式 |
auto/noauto | mount -a时是否自动挂载,开机自动挂载 |
exec/noexec | 该文件系统中的执行文件是否允许执行 |
atime/noatime | 文件被改动时是否更新访问时间 |
dev/nodev | 是否启用这个文件系统上的设备节点文件(块和字符设备) |
suid/nosuid | 在这个文件系统上是否要启用特殊权限 |
user/nouser | 是否允许普通用户执行mount 命令 |
rw/ro | 文件系统是可读写还是只读挂载 |
default | 相当于rw,suid,dev,exec,auto,nouser,async 的组合 |
_netdev | 表明此文件系统位于网络上。用于防止网络未启用的时候就挂载 |
客户端查看服务端共享目录信息
showmount -e 10.8.12.9
共享客户端,手动挂载
mount -t nfs 10.8.12.9:/home/es/snapshot /home/es/snapshot
- 挂载完成后,可使用df命令查看挂载结果。
加入磁盘配置,实现自启动挂载
可将共享配置加入至磁盘配置文件中,使其开机自动挂载
- 编辑磁盘配置文件
vim /etc/fstab
添加如下内容:
10.8.12.9:/home/es/snapshot /home/es/snapshot nfs defaults,_netdev 0 0
- 非开机时,手动挂载
mount -a
说明:mount -a为依据/etc/fstab中的配置,进行磁盘挂载。
- 挂载完成后,可使用df命令查看挂载结果。
NFS安全配置
服务端限制可挂载地址
在进行共享目录配置时,尽可能使用限定可挂载的目标客户端,如:
/home/es/snapshot 10.8.12.7(rw,no_root_squash,no_all_squash,sync) 10.8.12.8(rw,no_root_squash,no_all_squash,sync)
尽可能不使用以下网段的配置方式:
/home/es/snapshot 10.8.12.0/24(rw,no_root_squash,no_all_squash,sync)
showmount -e漏洞配置(非常重要)
服务端分别做如下配置:
- 配置允许showmont访问的主机
vim /etc/hosts.allow
添加如下内容:
mountd:10.8.12.7,10.8.12.8
rpcbind:10.8.12.7,10.8.12.8:allow
注:多主机以逗号分隔,如mountd:192.141.96.21,192.141.96.22
- 禁止所有未配置的主机访问
vim /etc/hosts.deny
添加如下内容:
mountd:ALL
rpcbind:ALL:deny
- 验证showmount访问
- 在配置允许挂载访问的主机上验证是否可正常获取信息(如10.8.12.7主机):
showmount -e 10.8.12.9
- 再在不允许的主机上验证(如10.8.12.6主机):
- 未允许的主机通过showmount -e命令无法获取到共享目录服务端的信息,则表明配置正确无法,已解决该漏洞
快照方式备份数据
备份源创建仓库
curl -XPUT --user elastic:Qrl@123++ 'http://10.8.12.9:9200/_snapshot/my_repository' -H 'content-Type:application/json' -d '{ "type":"fs","settings": { "location": "/home/es/snapshot","compress":"true", "max_restore_bytes_per_sec": "50mb","max_snapshot_bytes_per_sec": "50mb" }}'
注:
- 其中--user参数为elasticsearch用户及密码,以冒号分隔,若未启用xpack,可去掉该参数;
- location配置项用于配置快照路径,要与path.repo参数保持一致;
- my_repository为仓库名称,可以创建多个仓库,更改此名称即可。
- 创建仓库时,若报以下错误,一般为nfs共享目录建立存在问题,请检查是否挂载成功、目录地址是否正确、用户属主是否正确、用户UID是否一致等:
查看仓库信息
curl -XGET --user elastic:Qrl@123++ 'http://10.8.12.9:9200/_snapshot?pretty'
备份所有索引
curl -XPUT --user elastic:Qrl@123++ 'http://10.8.11.4:9200/_snapshot/my_repository/snapshot_1?wait_for_completion=true'
备份指定索引
curl -XPUT --user elastic:Qrl@123++ 'http://10.8.11.4:9200/_snapshot/my_repository/snapshot_1?wait_for_completion=true' -H 'content-Type:application/json' -d '{"indices":"wcm,terminalinfo,offline", "ignore_unavailable": true, "include_global_state": false}'
注:indices配置项用于指定要备份的索引名称,以逗号分隔。
查看备份快照信息
#查看所有快照信息
curl -XPUT --user elastic:Qrl@123++ 'http://10.8.11.4:9200/_snapshot/my_repository/_all'
#查看指定快照信息
curl -XPUT --user elastic:Qrl@123++ 'http://10.8.11.4:9200/_snapshot/my_repository/snapshot_1'
分段打包索引目录
tar -zcvf - /home/es/snapshot |split -a 4 -d -b 100m - es-snap.gz
注:若快照文件较大,且环境对数据包大小有限制,可使用此命令,将文件按照100m一个数据包的方式进行分段打包。
恢复快照
恢复集群创建仓库(同备份源)
curl -XPUT --user elastic:Qrl@123++ 'http://10.8.12.9:9200/_snapshot/my_repository' -H 'content-Type:application/json' -d '{ "type":"fs","settings": { "location": "/home/es/snapshot","compress":"true", "max_restore_bytes_per_sec": "50mb","max_snapshot_bytes_per_sec": "50mb" }}'
注:
- 其中--user参数为elasticsearch用户及密码,以冒号分隔,若未启用xpack,可去掉该参数;
- location配置项用于配置快照路径,要与path.repo参数保持一致;
- my_repository为仓库名称,可以创建多个仓库,更改此名称即可。
- 创建仓库时,若报以下错误,一般为nfs共享目录建立存在问题,请检查是否挂载成功、目录地址是否正确、用户属主是否正确、用户UID是否一致等:
查看仓库信息
curl -XGET --user elastic:Qrl@123++ 'http://10.8.12.9:9200/_snapshot?pretty'
解压分段打包索引文件
将备份的快照文件拷贝至恢复集群的集群快照目录下,将压缩包进行解压,此处介绍分段方式打包的文件,如何解压
##使用cat命令,将分段压缩包合并为一个压缩包
cat es-snap.gz* >es-snap.gz
##解压合并压缩包
tar -zxvf es-snap.gz
解压后,快照实际效果如下:
恢复所有索引
curl -XPOST 'http://192.141.96.10:9200/_snapshot/my_repository/snapshot_1/_restore?wait_for_completion=true'
恢复指定索引
curl -XPOST --user elastic:Qrl@123++ 'http://10.8.11.4:9200/_snapshot/my_repository/snapshot_1/_restore?wait_for_completion=true' -H 'content-Type:application/json' -d '{"indices":"wcm,terminalinfo,offline", "ignore_unavailable": true, "include_global_state": false}'
删除快照
恢复完成后,检查数据情况、集群情况、业务情况,均无问题后,删除快照
curl -XDELETE 'http://192.141.96.10:9200/_snapshot/my_repository/snapshot_1'
关闭nfs服务
##节点卸载快照目录挂载
umount -f /home/es/snapshot
##共享目录服务端停止nfs服务
systemctl stop nfs
注:完成数据迁移动作后,请停止nfs服务,因在“/etc/hosts.allow和/etc/hosts.deny”中未配置限定规则,该nfs服务较容易被扫描到showmount -e漏洞,因此使用完成后,请立即关闭该服务。