greenplum在使用gpcopy数据迁移记录

于 2024-04-20 10:33:09 发布
阅读量453 收藏 10
点赞数 4
分类专栏： 笔记 文章标签： postgresql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41096226/article/details/137992935
版权
本文描述了在绿色plum数据库中进行大规模数据迁移（100TB）时，使用gpcopy工具的过程。起初迁移速度稳定在每小时5TB，但后期逐渐减缓，最终达到每小时1.8TB，总耗时约150小时，期间保证了双库服务不间断运行。
摘要由CSDN通过智能技术生成

greenplum在使用gpcopy数据迁移时的记录，100T数据的迁移过程，双库提供服务不中断，迁移速度显示一开始大概在每小时5T左右，越往后越慢，最后在每小时1.8T，实际迁移花销大概在150小时

weixin_41096226
关注
  • 4
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
使用GreenPlum/postgres的copy命令导出/导入数据
不见其长，日有所长
02-27 1万+
1. postgres的copy命令 postgres的COPY命令可以快速的导出/导入数据到postgresql数据库中，支持常用的文件格式，如：txt、sql、csv、压缩文件、二进制格式等。特别适合批量导出和导入数据，速度比较快。 COPY TO把一个表的所有内容都拷贝到一个文件； COPY FROM从一个文件里拷贝数据到一个表里(把数据附加到表中已经存在的内容里)。 注意COPY只能用于...
【晟数学院】PostgreSQL—greenplum使用gpcopy数据传输方案
weixin_45694422的博客
04-20 418
更多精彩内容，请登录：ke.sandata.com.cn 一 架构基础环境 主机mdw和备机mdwbak节点对等，都采用2+4架构。 1.1 主机列表 1.2 CPU及内存 所有节点都采用华为云服务器，CPU核心数为16核心，内存为32G，节点总数为12。主机备机都采用内部万兆网络。磁盘为单独挂载磁盘，采用高性能IO磁盘，实际最高读写性能为350M/s。 1.3 计算节点和镜像节点 计算节点primary数量为主备机都为24，镜像节点mirror数量为主备机都为24，总节点数量为48。 1.4 数据库版本
Greenplum非并行数据迁移--pg_dump
DraGon_HooRay的博客
07-12 701
1、pg_dump为greenplum数据库自带工具，可直接使用 2、这里使用gp1作为源greenplum数据库标识，gp2作为目标数据库标识 3、pg_dump为greenplum提供的非并行数据迁移工具，所以整个操作过程只需要在两个集群的主节点即可 4、pg_dump会将迁移的数据从segment节点拉到master主节点，所以需要注意一次迁移的数据量，防止主节点磁盘爆满1、gp1执行转储命令2、将 /data/pg_dump/byt.sql 迁移到gp2的主节点相同位置 3、确保 gp2 中的目标数
「揭秘GP」Greenplum新一代数据迁移工具gpcopy，更快更稳更易用
Greenplum中文社区
06-24 873
gpcopy 是新一代的 Greenplum 数据迁移工具，可以帮助客户在不同集群间，不同版本间，快速稳定地迁移数据。同上一代迁移工具 gptransfer 相比，gpcopy 具有巨大的优势：更快，更稳定，更易用，功能更丰富。另外，gpcopy 只包含在商业版本中。 gpcopy 可以干什么 gpcopy 可以迁移整个集群，也可以具体传输某些数据库、某些命名空间和某些表；可以从文件读取传输或者略过的表，支持正则表达式；可以略过、追加或者替换目标集群的数据；可以并行传输；可以只迁移结构信息；可以静默自动化执
全新Greenplum集群传输工具—GPCOPY 2.1.0正式发布
Greenplum中文社区
04-13 550
GPCOPY是新一代的支持Greenplum集群之间快速高效传输数据的工具。作为Greenplum集群数据传输的官方首选配套工具，GPCOPY除了具有高速稳定易用的特点外，还支持不同版本Greenplum集群之间的传输（当然支持同版本之间的传输）。GPCOPY支持从GP4.3.x到GP 5.x、GP5.x到GP6.x、甚至GP4.3.x到GP6.x的数据传输。它也同时支持同等规模集群和不等规模集群...
一篇文章帮你详细了解Greenplum迁移工具—GPCopy
Greenplum中文社区
03-12 658
以下资料是根据Pivotal Greenplum官网翻译、Grenplum中文社区博客以及个人测试所得，如有部分描述错误，欢迎下方评论指出，共同进步。 ...
Greenplum数据迁移--gpcopy的知识点整理
非洲的小白的博客
11-25 8188
以下资料是根据Pivotal Greenplum官网翻译、Grenplum中文社区博客以及个人测试所得，如有部分描述错误，欢迎下方评论指出，共同进步。 目录 一：gpcopy介绍 二：gpcopy相较于gptransfer 三：gpcopy版本发展史 四：gpcopy命令（基于gpcopy1.5.0） 五：gpcopy官方提示注意点 六：gpcopy使用测试注意点 七：gpcopy...
使用gpcopy从Greenplum4迁移数据到Greenplum5
xiadan_xiadan的博客
12-22 846
目录1.环境说明2.GP4.3.12升级到GP4.3.333.在GP4.3.33上安装gpcopy4.打通GP4 master机器到其他机器的SSH免密登录5.迁移数据案例：全库复制以append的方式复制一张表 现有环境要从GP4.3.12迁移到GP5.28.3上。在本地做了个实验成功，记录一下。 1.环境说明 GP4.3.12环境参考：https://blog.csdn.net/xiadan_xiadan/article/details/110953238 192.168.122.150 mdw mas
第六节课-Greenplum 异构数据库的迁移.pdf
04-09
在数据迁移工具方面，文档中提到了几种常用的工具。AWSSchemaConversionTool（简称AWSSCT）是由AWS提供的，用于辅助用户将数据迁移到云端的工具，支持多种数据库平台的语法转换，并能生成详细的分析报告。由于...
greenplum数据迁移gpcopy
Danger
10-28 2091
greenplum数据迁移说明软件gpcogy设置实践报错验证参考 说明 本次测试基于 greenplum-db-6.4.0-rhel6-x86_64.rpm gpcopy-2.3.1.tar.gz（仅在百度云分享） 软件 百度云： https://pan.baidu.com/s/1tBqGEEeye_NRAVnbu9Nptw u4j8 阿里云： 链接：https://www.aliyundrive.com/s/DE1cDbrfMiP 官网： greenplum： https://network.piv
gpcopy-2.2.0.zip
04-11
gpcopy 工具是MPP 数据库Greenplum 数据迁移利器 兼容 4.3 到 5.x/6.x 目前最新版本 2.2(截止 20200410)
Greenplum导入导出-COPY命令
数据源的港湾
09-08 1267
注：本文翻译自Greenplum中的COPY命令用于在表和文件之间进行数据复制，可以将文件的数据写入到表中，也可以将表中的数据写出到文件。
gpcopy命令详解
最新发布
数据源的港湾
09-12 744
注：本文部分翻译自gpcopy实用程序将对象从源Greenplum数据库系统中的数据库复制到目标Greenplum数据库系统中的数据库。
GP中copy命令
learning_oracle的博客
01-08 8223
--把外部文件（cvs格式）copy至数据库内部表mytable中 COPY mytable FROM '/data/myfile.csv' WITH CSV HEADER; （文件生成在Master） \COPY mytable FROM ‘/data/myfile.csv’ WITH CSV HEADER;（文件生成在本地） --把 '|' 为分隔符的外部文件copy至数据库内部
GP copy 数据迁移
MyySophia的博客
12-13 1515
实际业务需求：Oracle - >GP 要求1、栏位不一致 2、栏位的类型需要改变 3、源表新旧数据整合到目标表 array_glass_his_t/array_glass_his_old_t - > array_glass_his_t 4、.........(可以对数据做一些简单清洗) 在Oracle建立与目标表结构一致的表，使用 ...
GreenPlum数据的装载与卸载之copy命令的使用
weixin_34107955的博客
06-19 701
Copy是PostgreSql数据库自带的数据工具，它不仅支持表于表之间的数据加载，也支持文件于表之间的数据加载和表对文件的数据卸载。对于Greenplum数据库，使用copy命令进行数据加载，数据需要经过Master节点分发到Segment节点;同样使用copy命令进行数据卸载，数据也需要由Segment发送到Master节点，由Master节点汇总后再写入外部文件，这样就限制了数据加载与卸载的...
Greenplum使用gpload通过gpfdist实现文件的高速加载
热门推荐
DataFlow范式
07-03 1万+
本文章介绍Greenplum(简称GP)的并行化数据加载。GP数据库使用外部表特性支持快速，并行化的数据加载。我们可以使用单行错误隔离模式来加载外部表数据，将错误或格式有问题的记录数加载到独立的错误表里面。通过使用外部表结合GP数据库的并行文件服务器gpfdist功能，我们能够实现最大并行度和加载带宽。如下图使用gpfdist实现外部表数据加载: Greenplum数据库另外也提供gpload工具
Greenplum利用gpload,gpfist实现数据入库
feng12345zi的博客
07-27 5595
转载：http://blog.csdn.net/stoneliul/article/details/8126700 1.python版本要求2.4.4以上 [python] view plain copy [root@test install]# python   Python 2.6.2 (r262:71600, May 14 
Greenplum数据库详尽安装与使用指南
在安装和使用Greenplum时，了解其基础架构至关重要。该手册的第一章详细介绍了GP数据库的架构，包括各个组件如Master节点和Segment节点的功能。Master节点负责元数据管理、查询解析和计划分布，而Segment节点则实际...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值