2024年ElasticSearch部署全攻略——数据迁移_elasticsearch 数据迁移，2024年最新大数据开发详解

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

参数	参数说明
async/sync	执行时是否使用同步读取方式
auto/noauto	mount -a时是否自动挂载，开机自动挂载
exec/noexec	该文件系统中的执行文件是否允许执行
atime/noatime	文件被改动时是否更新访问时间
dev/nodev	是否启用这个文件系统上的设备节点文件（块和字符设备）
suid/nosuid	在这个文件系统上是否要启用特殊权限
user/nouser	是否允许普通用户执行mount 命令
rw/ro	文件系统是可读写还是只读挂载
default	相当于rw,suid,dev,exec,auto,nouser,async 的组合
_netdev	表明此文件系统位于网络上。用于防止网络未启用的时候就挂载

客户端查看服务端共享目录信息

showmount -e 10.8.12.9

共享客户端，手动挂载

mount -t nfs 10.8.12.9:/home/es/snapshot /home/es/snapshot

• 挂载完成后，可使用df命令查看挂载结果。

加入磁盘配置，实现自启动挂载

可将共享配置加入至磁盘配置文件中，使其开机自动挂载

• 编辑磁盘配置文件

vim /etc/fstab

添加如下内容：

10.8.12.9:/home/es/snapshot /home/es/snapshot nfs defaults,_netdev 0 0

• 非开机时，手动挂载

mount -a

说明：mount -a为依据/etc/fstab中的配置，进行磁盘挂载。

• 挂载完成后，可使用df命令查看挂载结果。

NFS安全配置

服务端限制可挂载地址

在进行共享目录配置时，尽可能使用限定可挂载的目标客户端，如：

/home/es/snapshot 10.8.12.7(rw,no_root_squash,no_all_squash,sync) 10.8.12.8(rw,no_root_squash,no_all_squash,sync)

尽可能不使用以下网段的配置方式：

/home/es/snapshot 10.8.12.0/24(rw,no_root_squash,no_all_squash,sync) 

showmount -e漏洞配置（非常重要）

服务端分别做如下配置：

• 配置允许showmont访问的主机

vim /etc/hosts.allow

添加如下内容：

mountd:10.8.12.7,10.8.12.8
rpcbind:10.8.12.7,10.8.12.8:allow

注：多主机以逗号分隔，如mountd:192.141.96.21,192.141.96.22

• 禁止所有未配置的主机访问

vim /etc/hosts.deny

添加如下内容：

mountd:ALL
rpcbind:ALL:deny

• 验证showmount访问
• 在配置允许挂载访问的主机上验证是否可正常获取信息（如10.8.12.7主机）：

showmount -e 10.8.12.9

• 再在不允许的主机上验证（如10.8.12.6主机）：

• 未允许的主机通过showmount -e命令无法获取到共享目录服务端的信息，则表明配置正确无法，已解决该漏洞

快照方式备份数据

备份源创建仓库

curl -XPUT --user elastic:Qrl@123++ 'http://10.8.12.9:9200/_snapshot/my_repository' -H 'content-Type:application/json' -d '{ "type":"fs","settings": { "location": "/home/es/snapshot","compress":"true", "max_restore_bytes_per_sec": "50mb","max_snapshot_bytes_per_sec": "50mb" }}'

注：

• 其中–user参数为elasticsearch用户及密码，以冒号分隔，若未启用xpack，可去掉该参数；
• location配置项用于配置快照路径，要与path.repo参数保持一致；
• my_repository为仓库名称，可以创建多个仓库，更改此名称即可。
• 创建仓库时，若报以下错误，一般为nfs共享目录建立存在问题，请检查是否挂载成功、目录地址是否正确、用户属主是否正确、用户UID是否一致等：

查看仓库信息

curl -XGET --user elastic:Qrl@123++ 'http://10.8.12.9:9200/_snapshot?pretty'

备份所有索引

curl -XPUT --user elastic:Qrl@123++ 'http://10.8.11.4:9200/_snapshot/my_repository/snapshot_1?wait_for_completion=true'

备份指定索引

curl -XPUT --user elastic:Qrl@123++ 'http://10.8.11.4:9200/_snapshot/my_repository/snapshot_1?wait_for_completion=true' -H 'content-Type:application/json' -d '{"indices":"wcm,terminalinfo,offline", "ignore_unavailable": true, "include_global_state": false}'

注：indices配置项用于指定要备份的索引名称，以逗号分隔。

查看备份快照信息

#查看所有快照信息
curl -XPUT --user elastic:Qrl@123++ 'http://10.8.11.4:9200/_snapshot/my_repository/_all'
#查看指定快照信息
curl -XPUT --user elastic:Qrl@123++ 'http://10.8.11.4:9200/_snapshot/my_repository/snapshot_1'

分段打包索引目录

tar -zcvf - /home/es/snapshot |split -a 4 -d -b 100m - es-snap.gz

注：若快照文件较大，且环境对数据包大小有限制，可使用此命令，将文件按照100m一个数据包的方式进行分段打包。

恢复快照

恢复集群创建仓库**（同备份源）**

curl -XPUT --user elastic:Qrl@123++ 'http://10.8.12.9:9200/_snapshot/my_repository' -H 'content-Type:application/json' -d '{ "type":"fs","settings": { "location": "/home/es/snapshot","compress":"true", "max_restore_bytes_per_sec": "50mb","max_snapshot_bytes_per_sec": "50mb" }}'

注：

• 其中–user参数为elasticsearch用户及密码，以冒号分隔，若未启用xpack，可去掉该参数；
• location配置项用于配置快照路径，要与path.repo参数保持一致；
• my_repository为仓库名称，可以创建多个仓库，更改此名称即可。
• 创建仓库时，若报以下错误，一般为nfs共享目录建立存在问题，请检查是否挂载成功、目录地址是否正确、用户属主是否正确、用户UID是否一致等：

查看仓库信息

curl -XGET --user elastic:Qrl@123++ 'http://10.8.12.9:9200/_snapshot?pretty'

解压分段打包索引文件

将备份的快照文件拷贝至恢复集群的集群快照目录下，将压缩包进行解压，此处介绍分段方式打包的文件，如何解压

##使用cat命令，将分段压缩包合并为一个压缩包
cat es-snap.gz* >es-snap.gz
##解压合并压缩包
tar -zxvf es-snap.gz

解压后，快照实际效果如下：

恢复所有索引

curl -XPOST 'http://192.141.96.10:9200/_snapshot/my_repository/snapshot_1/_restore?wait_for_completion=true'

恢复指定索引

curl -XPOST --user elastic:Qrl@123++ 'http://10.8.11.4:9200/_snapshot/my_repository/snapshot_1/_restore?wait_for_completion=true' -H 'content-Type:application/json' -d '{"indices":"wcm,terminalinfo,offline", "ignore_unavailable": true, "include_global_state": false}'

删除快照

恢复完成后，检查数据情况、集群情况、业务情况，均无问题后，删除快照

curl -XDELETE 'http://192.141.96.10:9200/_snapshot/my_repository/snapshot_1'

关闭nfs服务

##节点卸载快照目录挂载
umount -f /home/es/snapshot
##共享目录服务端停止nfs服务


![img](https://img-blog.csdnimg.cn/img_convert/f146fae809cf93fd3334a58207f21356.png)
![img](https://img-blog.csdnimg.cn/img_convert/eb5574f96c3dea1792ad61bed045e2a3.png)

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

##节点卸载快照目录挂载
umount -f /home/es/snapshot
##共享目录服务端停止nfs服务

[外链图片转存中…(img-6l9c9IMz-1714850015912)]
[外链图片转存中…(img-mv3wjblu-1714850015912)]

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！