使用reindex迁移集群

最新推荐文章于 2024-08-09 14:43:40 发布
最新推荐文章于 2024-08-09 14:43:40 发布
阅读量136 收藏
点赞数
分类专栏： Elasticsearch 文章标签： elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39458120/article/details/121148539
版权

使用reindex迁移集群

这里记录集群A迁移到集群B，在ES实例B的配置文件中添加配置

reindex.remote.whitelist: ip_A:9200

重启ES服务。
使用B的kibana进行迁移

POST _reindex?wait_for_completion=false
{
  "source":{
  		"index": "indexName",
  		"remote":{
  		"host": "http://ip_A:9200"
  		}
  	},
  	"query":{
  	//匹配条件，这里按需过滤
  		"match_all":{}
  	}
  },
  "dest":{
  	"index": "newIndexName"
  }

通过wait_for_completion=false返回的id可以查看迁移进度，

GET _tasks/task_id
yunCrush
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
es数据迁移-------reindex
sinat_36258805的博客
07-07 492
1.es 规定文档 mapping一旦建完过后就无法改动，所以当索引的 mapping 有变动时需要重建索引。2.es 规定分片一旦指定后就无法修改，所以当索引数据量随时间变大需要设置更多分片的时候需要重建索引。以上情况可以选择 reindex 命令重建索引，速度比用 bulk快 5 到 10 倍。当新的索引里有数据时要设置"version_type": “internal” ，注意：在创建索引的时候要把表结构也要创建好(也就是mapping).使用restful 接口。
ES数据迁移Reindex
zlhblogs的博客
04-18 307
elasticsearch数据迁移
elasticsearch索引迁移_记一次elasticsearch 索引迁移
weixin_39564151的博客
12-22 410
由于公司机房调整，需要将ES数据从一个集群迁移到另一集群。两个集群ES都是5.x版本，小版本存在差异，目标集群版本更低。数据由多个索引构成，每个索引大概1TB左右。迁移方式从资料看，Restore From a Snapshot 方式最快，适合备份大量数据，但是这种方式必须要求是相同版本或者是从低版本到高版本迁移，不适用目前场景，所以先排除。再看Reindex from a remote clus...
Elasticsearch多种方案数据迁移
weixin_43833817的博客
11-30 9845
Elasticsearch数据迁移 注意：Elasticsearch同版本数据迁移，只需将数据存储目录的文件拷贝到新集群path，重启es集群，即可自动recovery，迁移效率最快。这种方案需要重新给启动用户赋权限，然后es启动即可。 不同版本可采取以下方案： 方案1：使用Elasticsearch-Exporter迁移 1.Elasticsearch-Exporter简介： 将ES中的数据向其他导出的简单脚本实现。 2.Elasticsearch-Exporter安装： npm install nomn
es 分片迁移_常见elasticsearch问题处理方法
weixin_39640265的博客
02-01 2202
1、集群状态查看通过这两个界面可以看出1.1如果heap红色,会导致界面查询比较慢. 通常是打开了比较多的索引, 可以在企业版的日志策略中打开自动关闭索 引的功能, 通常是打开7天的索引, 可以根据具体内存情况多打开几天,比如10天或者15天, 不能太多.1.2.如果cpu和load红色, 会导致界面查询慢, 写入也慢, 对采集器的影响尤其明显, 采集器的日志中会出现超时或者bulk rejec...
es迁移数据.zip
12-30
1. **Elasticsearch数据迁移工具**：Elasticsearch的数据迁移通常涉及到使用如`reindex` API、`elasticdump`、`logstash`等工具。`reindex` API是Elasticsearch内建的一种功能，允许用户在不同的索引之间复制数据，...
最新版windows elasticsearch-8.10.0-windows-x86-64.zip
09-16
2. **数据迁移**：在升级或更换硬件时，需使用工具如`elasticdump`或`reindex API`来迁移索引数据。 Elasticsearch 8.10.0 在Windows上的部署和使用涉及到多个方面，包括安装、配置、安全管理、集群管理、搜索功能...
[工控安全]如何大量提升_Elasticsearch_在雲端上的效能.zip
11-05
9. **插件和解决方案**：利用社区提供的插件增强Elasticsearch功能，如使用Shard Routing插件优化分片路由，或使用Reindex API进行数据迁移。同时，结合如Logstash进行日志收集和 Beats进行数据传输，构建完整的ELK...
ElasticSearch技术文档.7z
11-13
12. **Reindexing和数据迁移**：如何在不同版本或集群间迁移数据，以及如何使用Reindex API进行数据重索引。 13. **Elasticsearch生态**：Elasticsearch是Elastic Stack（前称ELK Stack）的一部分，与Logstash...
windows-es windows-es windows-es
03-21
- 导入导出：可以使用`_reindex` API或第三方工具如`elasticdump`进行数据迁移。 10. **扩展与集成** - 插件安装：Elasticsearch有许多官方和第三方插件，如Logstash、Kibana、 Beats等，用于数据处理、可视化和...
【ES实战】ES集群节点迁移与缩容
coding and writing
12-30 2899
ES集群节点迁移与缩容
Elasticsearch 基于Reindex跨集群数据迁移
u013367040的博客
12-08 2317
Reindex会将一个索引的数据复制到另一个已存在的索引，但是并不会复制原索引的mapping（映射）、shard（分片）、replicas（副本）等配置信息。 POST _reindex?wait_for_completion=false { "conflicts": "proceed", "source": { "index": "test_index_db", "size": 4000, "query": { ...
elasticsearch 通过 _reindex迁移远程服务器的索引数据至本地索引
qq_37959253的博客
03-21 371
elasticsearch 通过 _reindex迁移远程服务器的索引数据至本地索引
突破 ES 引擎局限性在用户体验场景中的优化实践
字节跳动云原生计算官方账号
08-09 787
回顾：ES 慢上游响应问题优化在用户体验场景中的实践-CSDN博客 上文介绍了用户体验管理平台（简称 VoC）在针对 ES 慢上游响应场景下的优化实践，本文继续介绍针对第二个痛点问题——ES 引擎局限性的性能优化实践进行介绍。 下文以搜索引擎无法替换（存量数据太大，数据迁移成本高）、ES 查询性能配置无法修改（ES 集群配置有限且公司对部分参数配置有限制）、SkyNet 性能无法优化（后续逐步优化，不在本次实践进行）为前提设计方案进行性能优化，即在最坏的场景下寻找到最优解，降低后续进一步优化的压力。
git push上不去的问题Iremote reiectedl——文件过大的问题
最新发布
qq_51108920的博客
08-09 334
在新建分支的时候，发现push怎么也上传不上去，一开始觉得是权限的问题，但是尝试了各种方案都没有用，后面再仔细看了一下是文件太大了，远程拒绝推送接下来，和大家讲讲我的解决方案。
git——删除远程仓库中的文件或文件夹步骤图解（只是从远程仓库中删除，本地文件不受影响、不会被删除）
小志的博客
08-06 363
git——删除远程仓库中的文件或文件夹步骤图解（只是从远程仓库中删除，本地文件不受影响、不会被删除）
Elasticsearch 基本搜索
FireFox1997
08-09 171
Elasticsearch 提供了多样化的搜索选项，从简单的 URI 搜索到功能丰富的请求体搜索，满足不同复杂度的搜索需求。理解和掌握这些基本的搜索方法将帮助开发者有效地利用 Elasticsearch，提高数据检索的效率和准确性。希望本文的介绍能帮助你在实际项目中更好地应用 Elasticsearch 的搜索功能。
git revert和git reset工作中使用
m0_61716416的博客
08-06 399
git revert：用于撤销某次提交的效果，但保留提交历史，适合在公共分支上使用。git reset：用于修改提交历史，适合在本地分支上使用，可以重置到某个提交点，具体行为取决于使用的模式。在工作中，选择使用哪个命令取决于你对历史记录的需求和当前的协作环境。
elasticsearch reindex 跨集群
06-14
在 Elasticsearch 中，可以使用 reindex API 将一个集群中的索引复制到另一个集群中。要执行这个操作，需要在目标集群中安装一个插件，这个插件需要支持远程索引访问。 安装插件后，就可以使用 reindex API 来复制索引了。在执行 reindex 操作时，需要指定源和目标索引的名称，并且需要指定源集群和目标集群的连接信息。具体来说，可以通过在 reindex API 的 `source` 和 `dest` 参数中使用 Remote Cluster Alias 来指定集群连接信息。 例如，假设源集群名为 `source_cluster`，目标集群名为 `dest_cluster`，源索引名为 `source_index`，目标索引名为 `dest_index`，则可以使用以下命令来执行 reindex 操作： ``` POST _reindex { "source": { "remote": { "host": "http://source_cluster:9200", "username": "user", "password": "pass", "socket_timeout": "1m", "connect_timeout": "10s" }, "index": "source_index" }, "dest": { "index": "dest_index", "remote": { "host": "http://dest_cluster:9200", "username": "user", "password": "pass", "socket_timeout": "1m", "connect_timeout": "10s" } } } ``` 这个命令会将 `source_cluster` 中的 `source_index` 复制到 `dest_cluster` 中的 `dest_index`。注意，在 `remote` 参数中，需要指定源集群和目标集群的连接信息，包括主机名、端口号、用户名和密码。还可以指定套接字超时时间和连接超时时间等参数。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值