Ubuntu18.04 ES数据跨集群迁移Elasticsearch-migration

最新推荐文章于 2024-06-01 10:05:36 发布
最新推荐文章于 2024-06-01 10:05:36 发布
阅读量1.5k 收藏 1
点赞数 3
分类专栏： elk 文章标签： elk es linux ubuntu
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lengyer/article/details/111991578
版权
本文介绍了如何在Ubuntu 18.04上利用Elasticsearch-migration工具进行数据跨集群迁移。首先，从指定资源下载并解压工具，然后通过设置线程数(-w)、批量请求大小(-b)和滚动请求数量(-c)来执行迁移操作。参考链接提供了详细的操作步骤。
摘要由CSDN通过智能技术生成

ES数据跨集群迁移Elasticsearch-migration

下载Elasticsearch-migration

网址

https://github.com/medcl/esm-abandoned/releases

资源

https://download.csdn.net/download/lengyer/13985454

解压

tar -zxvf linux64.tar.gz

运行

bin/linux64/esm -s http://需要迁移的ES（IP地址）:9200 -d http://迁移到的ES（IP地址）:9200 -x index索引 -w=5 -b=10 -c 10000

-w 表示线程数的多少
-b 表示一次bulk请求并查询数据的大小，单位MB默认 5M
-c 一次scroll请求数量

参考

最低0.47元/天 解锁文章
lengyer
关注
  • 3
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
elasticsearch-migration:Elasticsearch模式演化库
05-26
Elasticsearch迁移 一个简单轻巧的Elasticsearch数据库迁移工具，它基于。 Elasticsearch Migration的工作方式与Flyway相似，但是使用yaml文件来描述变更集。 要求 Java（已通过JDK 8+测试） Elasticsearch 6.xx（经过6.2.4+测试。由于它使用的是REST Api，因此可以与较低版本一起使用） <dependency> <groupId>com.hubrick.lib</groupId> <artifactId>elasticsearch-migration</artifactId> <version>1.0.5</version> </dependency> 指标 这些索引是在首次运行时创建的，它们也可以跟踪迁移。 迁移版本索引（elasticsearch_migration_ver
elasticsearch-migration 跨集群数据迁移
大师兄你家猴跑啦的博客
11-27 4284
这个工具正好srcoll+bulk原理，进行数据迁移，该工具安装简单，解压即可使用。 scroll查询:es深度分页查询，基于http请求，可以查询索引下所有数据，不会有from+size不能大于1w的问题。 bulk请求:可以批量插入数据，是http请求。 1、下载文件 elasticsearch-migration 源码：https://github.com/medcl/esm-abando...
探索Elastic Migrations：优雅管理Elasticsearch数据迁移的利器
最新发布
gitblog_00006的博客
06-01 341
探索Elastic Migrations：优雅管理Elasticsearch数据迁移的利器 项目地址:https://gitcode.com/babenkoivan/elastic-migrations 在大数据和实时搜索的领域中，Elasticsearch已经成为了许多开发者首选的数据存储解决方案。然而，随着项目的发展，数据结构的变化是不可避免的，这就涉及到了数据迁移的问题。为此，我们向您推荐一...
ElasticSearch集群迁移和升级总结
varyall的专栏
05-18 8143
ElasticSearch（后面简称ES）是一个基于Lucene的实时搜索服务器，广泛用于帮助网站的搜索解决方案。本文主要是分享了此次对ES集群的迁移和升级的一些经验和步骤，希望对以后又类似迁移和升级的提供一些经验和帮助。背景因为ES所在机器，有会大量占用cpu和内存的软件，导致ES运行不稳定甚至无法响应的问题。我们对ES的服务进行了迁移。迁移方法我们使用的ES版本是2.3.3，现在已经更新到了5...
Elasticsearch Data Migration
酷米云计算
11-11 204
本文介绍ES的数据迁移方案：   由于ES更新速度比较快，很大程度上， 我们需要更新版本、插件、甚至更新分词器， 单纯的upgrade很有可能不能满足业务需求， 更坏的情况下， 可能需要重建索引。本文从Java API 的角度来介绍ES的数据迁移（或数据重新索引）。基于以下逻辑实现，个人已测试过2亿数据的迁移，可以放心使用。   1. 获取clientl连接。本文选择transport...
Elasticsearch迁移
seapeak007的博客
08-01 510
迁移办法的几个办法:elasticsearch-dumpsnapshotreindexlogstash 公司迁移es,因数据量不是很大,采用的方法elasticsearch-dump的方式进行数据迁移 elasticsearch-dump:主要针对数据量小的情况,而且迁出迁入服务器网络通 elasticsearch-dump 是一款开源的es迁移工具,github地址:https:/...
openssh-server -Ubuntu18.04远程服务离线安装包
05-07
sudo dpkg -i openssh-client_1%3a7.6p1-4ubuntu0.6_amd64.deb sudo dpkg -i ncurses-term_6.1-1ubuntu1.18.04_all.deb sudo dpkg -i openssh-sftp-server_1%3a7.6p1-4ubuntu0.6_amd64.deb sudo dpkg -i openssh-...
ubuntu-18.04.6-server-arm64.iso
06-23
ubuntu-18.04.6-server-arm64.iso ubuntu arm64 aarch64位系统 ubuntu for arm64 ubuntu for aarch64
ubuntu-18.04.4-live-server-amd64
12-26
根据提供的文件信息，我们可以深入探讨与“ubuntu-18.04.4-live-server-amd64”相关的几个核心知识点： ### 一、Ubuntu 18.04 LTS（Bionic Beaver）概述 #### 1. 发行版本背景 Ubuntu 18.04 LTS，代号为"Bionic ...
ubuntu-18.04.5-live-server-amd64.iso
04-02
ubuntu安装包 安装过程： 1、制作启动盘：把你的U盘查到电脑上，然后到这儿http://www.pendrivelinux.com/downloads/Universal-USB-Installer/Universal-USB-Installer.exe下载一个叫“USB Installer”的工具。下载...
ubuntu-18.04.5-desktop-amd64.iso镜像
11-19
ubuntu-18.04.5-desktop-amd64.iso，ubuntu18.04.5镜像，官方资源，百度网盘下载链接
Elasticsearch-migration.tar.gz
12-30
Elasticsearch-migration
esm：Elasticsearch迁移工具
02-06
Elasticsearch迁移工具 Elasticsearch跨版本数据迁移。 特征： 支持跨版本迁移 覆盖索引名称 复制索引设置和映射 支持http基本认证 支持转储到本地文件的索引 支持从本地文件加载索引 支持http代理 支持切片滚动（elasticsearch 5.0 +） 支持在后台运行 通过随机化源文档ID生成测试数据 支持重命名文件名 支持统一文件类型名称 支持人员指定要从源返回的_source字段 支持指定查询字符串查询以过滤数据源 在批量索引时支持重命名源字段 产生负载 ESM很快！ 3个节点的群集（3 * c5d.4xlarge，16C，32GB，10Gbps） r
【Elasticsearch】数据迁移
嘻嘻哈哈
01-11 292
Elasticsearch-dump 一、安装准备 1) yum install epel-release 2) yum install nodejs 3) yum install nodejs npm 4) npm install elasticdump 5) cd node_modules/elasticdump/bin 6)./elasticdump   二、迁移命令详解 ...
ElasticSearch的数据迁移,从windows到linux
chaootis1的博客
10-07 2354
之前写了一个爬虫项目,数据存在本地,现在想要把项目部署在服务器上,怎么把数据弄过去是个问题,毕竟爬虫爬了几天的数据再重新获取也比较麻烦。 可能是数据库设计的原因,ElasticSearch并不能直接像MySql一样导出个sql文件,然后再另外一边重新导入就好了。 网上的资料大部分都是针对linux到linux的,而且还是多节点的。。。我就是想把我的小项目(一个节点的那种)从windows上搞到li...
ElasticSearch集群数据迁移
bigdata_player
01-08 632
背景      因为ES所在机器，有会大量占用cpu和内存的软件，导致ES运行不稳定甚至无法响应的问题。我们对ES的服务进行了迁移。 迁移方法     我们使用的ES版本是2.3.3，现在已经更新到了5.x版本(当时5.6.1)。而且ES更新到5.x后，增加了很多新特性和性能的优化。因此，我们也正好准备借这次迁移，将ES给升级了。      最初迁移和升级方法是基于官网资料，得出的方法如下...
Elasticsearch跨集群数据迁移
逝无痕——kaidy
06-21 6751
文章目录一、背景二、迁移方案四、迁移步骤1、下载、安装、配置新的ES集群2、在测试环境选择对迁移效率进行测试3、旧的ES集群停止写入4、下载安装elasticsearch-migration5、数据迁移五、迁移过程中的注意点 一、背景 由于新采购了一批性能更好的服务器，再加上公司内领导要求服务器需要统一管理，因ES所在服务器散落在不同位置，所以决定对ES的服务器进行迁移。 二、迁移方案 迁移的思路...
Elasticsearch学习之（一）线上迁移数据方案_elasticsearch 在线迁移(2)
2401_84159911的博客
04-13 314
注意点：1、因为月份最后几天不确定，所以从28-31 都计算一下2、创建索引的配置自己写个json文件然后放到容器中读取即可")//判断是否是最后一天if(!log.warn("索引初始化|判断不是本月最后一天|不进行处理");return;// 每月最后一天生成下个月的索引log.warn("索引初始化|索引已存在|index:{}",indexName);return;
ubuntu18.04如何将mysql的数据迁移到指定目录
03-30
1. 停止MySQL服务 在终端输入以下命令停止MySQL服务： ``` sudo service mysql stop ``` 2. 备份MySQL数据 在终端输入以下命令备份MySQL数据： ``` sudo mysqldump -u root -p --all-databases > /path/to/mysql_backup.sql ``` 其中，`-u`参数指定MySQL的用户名，`-p`参数表示需要输入密码，`--all-databases`参数表示需要备份所有数据库，`>`将备份的数据输出到指定的目录。 3. 迁移MySQL数据 将备份的MySQL数据文件复制到指定的目录，如： ``` sudo cp /path/to/mysql_backup.sql /path/to/new_directory/ ``` 4. 修改MySQL数据目录 在终端输入以下命令打开MySQL配置文件： ``` sudo nano /etc/mysql/mysql.conf.d/mysqld.cnf ``` 找到以下行： ``` datadir = /var/lib/mysql ``` 将该行修改为： ``` datadir = /path/to/new_directory ``` 保存并退出配置文件。 5. 启动MySQL服务 在终端输入以下命令启动MySQL服务： ``` sudo service mysql start ``` MySQL就会使用新的数据目录启动。 注意：在迁移MySQL数据之前，一定要备份好数据，以防数据丢失。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值