「ES数据迁移可视化工具（Python实现）」支持7.x索引数据互传

最新推荐文章于 2025-10-13 07:31:12 发布

原创最新推荐文章于 2025-10-13 07:31:12 发布 · 1.1k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#elasticsearch #python #数据库 #mysql #大数据

工具概述

这是一个用于 Elasticsearch 7x 的数据迁移 Python 脚本，支持以下功能：

跨集群数据迁移（支持认证）
按索引前缀或精确名称筛选迁移
批量处理（可配置批量大小）
自动创建目标索引（保留源索引结构）
实时进度显示和性能统计

功能特性

核心功能

✅ 完整的索引结构和数据迁移

✅ 支持源和目标集群不同认证信息

✅ 断点续传能力

✅ 详细的迁移报告

筛选功能

🔍 按索引前缀筛选（–index-prefix）

🔍 按精确索引名筛选（–index-filter）

🔍 支持同时使用两种筛选方式

性能监控

📊 实时显示迁移速度

📊 每个索引的进度条

📊 迁移完成后的详细统计

环境要求

Python 3.6+
以下Python包
elasticsearch==7.15.2（你使用的版本）
tqdm==4.62.3

安装依赖：

pip install elasticsearch==7.15.2 tqdm==4.62.3

使用说明

基本命令

python es_migration.py \
    --source-host <源ES地址> \
    --source-user <源用户名> \
    --source-pass <源密码> \
    --target-host <目标ES地址> \
    --target-user <目标用户名> \
    --target-pass <目标密码> \
    [其他参数]

参数说明

参数	必选	说明	示例
–source-host	是	源ES地址	http://192.168.1.210:9200
–source-user	是	源ES用户名	elastic
–source-pass	是	源ES密码	yourpassword
–target-host	是	目标ES地址	http://192.168.1.136:9200
–target-user	是	目标ES用户名	elastic
–target-pass	是	目标ES密码	yourpassword
–batch-size	否	每批处理的文档数（默认5000）	10000
–scroll-keepalive	否	scroll API保持时间（默认15m）	30m
–index-filter	否	精确匹配的索引名（可多个）	index1 index2
–index-prefix	否	索引名前缀匹配	logs.

使用示例

python es_migration.py --source-host http://192.168.1.210:9200 --source-user elastic --source-pass pass@2025 --target-host http://192.168.1.136:9200 --target-user elastic --target-pass pass@2025 --batch-size 5000 --scroll-keepalive 15m --index-prefix "log."