greenplum gptransfer命令使用

最新推荐文章于 2023-01-06 17:44:42 发布
最新推荐文章于 2023-01-06 17:44:42 发布
阅读量547 收藏 1
点赞数
分类专栏： GreenPlum
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xfg0218/article/details/90292980
版权

目录

12.2 gptransfer命令使用

12.2.1 gptransfer 介绍

12.2.2 gptransfer 命令参数介绍

12.2.3 同集群之间同步数据

12.2.4 验证数据的准确性

12.2.5 使用gptransfer总结

12.2.6 不同集群之间同步数据

12.2 gptransfer命令使用

12.2.1 gptransfer 介绍

详细请查看官网介绍:

https://gpdb.docs.pivotal.io/510/utility_guide/admin_utilities/gptransfer.html

 

或查看中文文档:

https://gp-docs-cn.github.io/docs/admin_guide/managing/gptransfer.html

 

12.2.2 gptransfer 命令参数介绍

gptransfer参数详细介绍请查看:

https://blog.csdn.net/xfg0218/article/details/90233815

 

$ gptransfer --help

gptransfer

   { --full |

   { [-d <database1> [ -d <database2> ... ]] |

   [-t <db.schema.table> [ -t <db1.schema1.table1> ... ]] |

   [-f <table-file> [--partition-transfer | --partition-transfer-non-partition-target]]

   [-T <db.schema.table> [ -T <db1.schema1.table1> ... ]]

   [-F <table-file> ] } }

   [--skip-existing | --truncate | --drop]

   [--analyze] [--validate=<type> ] [-x] [--dry-run]

   [--schema-only ]

   [--no-final-count]

 

   [--source-host=<source_host> [--source-port=<source_port>]

   [--source-user=<source_user>] ]

   [--base-port=<base_gpfdist_port>]

   [--dest-host=<dest_host> --source-map-file=<host_map_file>

   [--dest-port=<dest_port>] [--dest-user=<dest_user>] ]

   [--dest-database=<dest_database_name>]

 

   [--batch-size=<batch_size>] [--sub-batch-size=<sub_batch_size>]

   [--timeout <seconds>]

   [--max-line-length=<length>]

   [--work-base-dir=<work_dir>] [-l <log_dir>]

   [--delimiter=<delim> ]

   [--format=[CSV|TEXT] ]

   [--quote=<character> ]

 

   [-v | --verbose]

   [-q | --quiet]

   [--gpfdist-verbose]

   [--gpfdist-very-verbose]

   [-a]

12.2.3 同集群之间同步数据

12.2.3.1 查看表的详细信息

查看表的大小

select pg_size_pretty(pg_relation_size('dim.xiaoxu_test1'));

-- 27 GB

 

查看表的行数

select count(*) from dim.xiaoxu_test1;

-- 182683056

 

12.2.3.2 进行表数据同步

查看source_host_map_file文件的配置

$ cat source_host_map_file

 

gpdev152,192.168.***.**

gpdev153,192.168.***.**

gpdev154,192.168.***.**

gpdev155,192.168.***.**

 

查看source_tb_list 文件的配置,如果是多个表请一行一行的追加

$ cat source_tb_list

test.dim.test1

test : 数据库的名字

dim:schema的名字

test1:表的名字

 

$ gptransfer --source-host=192.168.***.** --source-port=5432 --source-user=gpadmin -f source_tb_list  --source-map-file=source_host_map_file -a --dest-host=192.168.***.** --dest-port=5432 --dest-database=stagging --drop

 

 

20190515:15:21:04:143245 gptransfer:gpdev152:gpadmin-[INFO]:-Starting gptransfer with args: --source-host=192.168.***.** --source-port=5432 --source-user=gpadmin -t test.dim.test1 --source-map-file=source_host_map_file -a --dest-host=192.168.***.** --dest-port=5432 --dest-database=stagging --drop

20190515:15:21:04:143245 gptransfer:gpdev152:gpadmin-[INFO]:-Validating options...

20190515:15:21:04:143245 gptransfer:gpdev152:gpadmin-[INFO]:-Retrieving configuration of source Greenplum Database...

20190515:15:21:05:143245 gptransfer:gpdev152:gpadmin-[INFO]:-Retrieving configuration of destination Greenplum Database...

20190515:15:21:06:143245 gptransfer:gpdev152:gpadmin-[INFO]:-Retrieving source tables...

20190515:15:21:06:143245 gptransfer:gpdev152:gpadmin-[INFO]:-Checking for gptransfer schemas...

20190515:15:21:07:143245 gptransfer:gpdev152:gpadmin-[INFO]:-Retrieving list of destination tables...

20190515:15:21:07:143245 gptransfer:gpdev152:gpadmin-[INFO]:-Reading source host map file...

20190515:15:21:07:143245 gptransfer:gpdev152:gpadmin-[INFO]:-Building list of source tables to transfer...

20190515:15:21:07:143245 gptransfer:gpdev152:gpadmin-[INFO]:-Number of tables to transfer: 1

20190515:15:21:07:143245 gptransfer:gpdev152:gpadmin-[INFO]:-gptransfer will use "fast" mode for transfer.

20190515:15:21:07:143245 gptransfer:gpdev152:gpadmin-[INFO]:-Validating source host map...

20190515:15:21:07:143245 gptransfer:gpdev152:gpadmin-[INFO]:-Validating transfer table set...

20190515:15:21:07:143245 gptransfer:gpdev152:gpadmin-[INFO]:-Using batch size of 2

20190515:15:21:07:143245 gptransfer:gpdev152:gpadmin-[INFO]:-Using sub-batch size of 24

20190515:15:21:07:143245 gptransfer:gpdev152:gpadmin-[INFO]:-Creating work directory '/home/gpadmin/gptransfer_143245'

20190515:15:21:08:143245 gptransfer:gpdev152:gpadmin-[INFO]:-Creating schema dim in database stagging...

20190515:15:21:09:143245 gptransfer:gpdev152:gpadmin-[INFO]:-Starting transfer of test.dim.test1 to stagging.dim.test1...

20190515:15:21:09:143245 gptransfer:gpdev152:gpadmin-[INFO]:-Creating target table stagging.dim.test1...

20190515:15:21:09:143245 gptransfer:gpdev152:gpadmin-[INFO]:-Retrieving schema for table test.dim.test1...

20190515:15:21:12:143245 gptransfer:gpdev152:gpadmin-[INFO]:-Transfering data test.dim.test1 -> stagging.dim.test1...

20190515:15:30:00:143245 gptransfer:gpdev152:gpadmin-[INFO]:-Finished transferring table test.dim.test1, remaining 0 of 1 tables

20190515:15:30:00:143245 gptransfer:gpdev152:gpadmin-[INFO]:-Running final table row count validation on destination tables...

20190515:15:30:09:143245 gptransfer:gpdev152:gpadmin-[INFO]:-Validation of stagging.dim.test1 successful

20190515:15:30:09:143245 gptransfer:gpdev152:gpadmin-[INFO]:-Removing work directories...

20190515:15:30:10:143245 gptransfer:gpdev152:gpadmin-[INFO]:-Finished.

 

 

在以上的日志可以看出执行的顺序是

  1. 先校验参数的正确性
  2. 检验数据源与目标源的数据库配置
  3. 校验源数据库中的表
  4. 检查gptransfer是否存在，如果存在回报gptransfer schema already exists on the source system 警告，在源数据库的schema手动删除掉即可
  5. 检验源数据库集群映射文件
  6. 把原始文件加载到转换器
  7. 统计加载的数据源文件
  8. 在本地磁盘创建转换目录
  9. 在目标数据库中创建schema
  10. 开启数据库员表到目标表的任务
  11. 创建目标表
  12. 开始到数据到目标表中
  13. 统计导到目标表的详细信息

 

任务是从20190515:15:21:04到20190515:15:30:10用时大概9分钟，大概27G / 9m ≈ 3G/m

大约51.2m/s，速度还可以

 

12.2.3.3 查看硬件详细信息

查看master节点的详细信息

 

 

查看master节点的cpu使用率

 

查看数据节点一的网卡信息

 

查看数据节点一的cpu使用率

 

 

12.2.4 验证数据的准确性

查看表的大小

select pg_size_pretty(pg_relation_size('dim.xiaoxu_test1'));

-- 27 GB

 

查看表的行数

select count(*) from dim.xiaoxu_test1;

-- 182683056

 

在以上可以看出数据都准确无误

 

12.2.5 使用gptransfer总结

在执行命令的服务器上执行ps -ef|grep gptransfer 会看到以下日志信息，表示在机器上启动gpfdist服务，供外表查询数据提供服务

$ ps -ef|grep gptransfer

gpadmin  143245  98695  2 15:21 pts/1    00:00:00 python /usr/local/greenplum-db/./bin/gptransfer --source-host=192.168.***.** --source-port=5432 --source-user=gpadmin -t test.dim.test1 --source-map-file=source_host_map_file -a --dest-host=192.168.***.** --dest-port=5432 --dest-database=stagging --drop

gpadmin  144007      1 13 15:21 ?        00:00:01 gpfdist -d /home/gpadmin/gptransfer_143245/test.dim.test1 -p 8000 -P 9000 -m 10485760 -t 300

gpadmin  144039      1 12 15:21 ?        00:00:01 gpfdist -d /home/gpadmin/gptransfer_143245/test.dim.test1 -p 8000 -P 9000 -m 10485760 -t 300

gpadmin  144048      1 13 15:21 ?        00:00:01 gpfdist -d /home/gpadmin/gptransfer_143245/test.dim.test1 -p 8000 -P 9000 -m 10485760 -t 300

gpadmin  144077      1 13 15:21 ?        00:00:01 gpfdist -d /home/gpadmin/gptransfer_143245/test.dim.test1 -p 8000 -P 9000 -m 10485760 -t 300

gpadmin  144079      1 13 15:21 ?        00:00:01 gpfdist -d /home/gpadmin/gptransfer_143245/test.dim.test1 -p 8000 -P 9000 -m 10485760 -t 300

gpadmin  144097      1 12 15:21 ?        00:00:01 gpfdist -d /home/gpadmin/gptransfer_143245/test.dim.test1 -p 8000 -P 9000 -m 10485760 -t 300

gpadmin  144118 143610  0 15:21 ?        00:00:00 sh -c GP_MASTER_HOST='192.168.***.**' && export GP_MASTER_HOST && GP_MASTER_PORT='5432' && export GP_MASTER_PORT && GP_SEG_PG_CONF='/data/gpsegment/p6/gpseg5/postgresql.conf' && export GP_SEG_PG_CONF && GP_SEG_DATADIR='/data/gpsegment/p6/gpseg5' && export GP_SEG_DATADIR && GP_DATABASE='test' && export GP_DATABASE && GP_USER='gpadmin' && export GP_USER && GP_DATE='20190515' && export GP_DATE && GP_TIME='152112' && export GP_TIME && GP_XID='1556272948-0002059298' && export GP_XID && GP_CID='2' && export GP_CID && GP_SN='0' && export GP_SN && GP_SEGMENT_ID='5' && export GP_SEGMENT_ID && GP_SEG_PORT='40005' && export GP_SEG_PORT && GP_SESSION_ID='30883' && export GP_SESSION_ID && GP_SEGMENT_COUNT='24' && export GP_SEGMENT_COUNT && GP_HADOOP_CONN_JARDIR='lib//hadoop' && export GP_HADOOP_CONN_JARDIR && GP_HADOOP_CONN_VERSION='' && export GP_HADOOP_CONN_VERSION && cat > /home/gpadmin/gptransfer_143245/test.dim.test1/test.dim.test1.pipe.$GP_SEGMENT_ID

************************

 

 

在同步的schema的下会创建一个gptransfer的schema，但不会存放数据

 

 

如果在执行的过程中kill掉进程请先在目标的schema下删除gptransfer否则回报以下的错误

***************

20190515:10:42:22:106113 gptransfer:gpdev152:gpadmin-[WARNING]:-The gptransfer schema already exists on the source system.

20190515:10:42:22:106113 gptransfer:gpdev152:gpadmin-[WARNING]:-This is likely due to a previous run on gptransfer

20190515:10:42:22:106113 gptransfer:gpdev152:gpadmin-[WARNING]:-being forcefully terminated and not properly cleaned up.

20190515:10:42:22:106113 gptransfer:gpdev152:gpadmin-[WARNING]:-Removing existing gptransfer schema on source system.

12.2.6 不同集群之间同步数据

gptransfer --source-host=192.168.***.** --source-port=5432 --source-user=gpadmin -f source_tb_list  --source-map-file=source_host_map_file -a --dest-host=192.168.***.** --dest-port=5432 --dest-database=stagging --truncate

 

只需要修改: --source-host 与--source-map-file 即可

盒马coding
关注
专栏目录
一条命令快速启动Greenplum
Greenplum中文社区
09-22 700
了解更多Greenplum技术干货，欢迎访问Greenplum中文社区网站 作为全球首个开源、多云大数据平台，Greenplum致力于OLAP系统数据引擎开发，2019年发布的6版本让其具备了对OLTP和混合负载很好的支持能力。更多关于Greenplum的内容，欢迎访问Greenplum中文社区网站cn.greenplum.org。 曾经，Greenplum的硬件门槛和复杂的配置，将很多粉丝拒之门外。为了帮助大家更方便的感受Greenplum的强大性能和魅力，在之前的文章中，我们为大家介绍过如何3分钟快.
「揭秘GP」Greenplum新一代数据迁移工具gpcopy，更快更稳更易用
Greenplum中文社区
06-24 888
gpcopy 是新一代的 Greenplum 数据迁移工具，可以帮助客户在不同集群间，不同版本间，快速稳定地迁移数据。同上一代迁移工具 gptransfer 相比，gpcopy 具有巨大的优势：更快，更稳定，更易用，功能更丰富。另外，gpcopy 只包含在商业版本中。 gpcopy 可以干什么 gpcopy 可以迁移整个集群，也可以具体传输某些数据库、某些命名空间和某些表；可以从文件读取传输或者略过的表，支持正则表达式；可以略过、追加或者替换目标集群的数据；可以并行传输；可以只迁移结构信息；可以静默自动化执
Greenplum集群迁移--gptransfer的使用
hmxz2nn的博客
02-23 2137
在使用greenplum时，当想将旧的集群中的数据迁移到新的集群中，有多种方法。如使用gp_dump命令进行数据的备份、拷贝与恢复，但相比较来说，还是使用gptransfer工具更简单方便，且更高效。 总述 gptransfer迁移工具把Greenplum数据库元数据从一个Greenplum数据库传输到另一个Greenplum数据库，允许用户迁移整个数据库的内容或者选中的表到另一个数据库。源数据库...
14 使用Gptransfer 迁移数据
kygoal的博客
07-14 2298
1        使用Gptransfer迁移数据 本主题介绍了如何使用gptransfer实用程序的数据库之间传输数据。 该gptransfer迁移实用程序Greenplum数据和元数据从一个Greenplum的数据库中的数据转移到另一个数据库Greenplum的，让你迁移数据库，或者只是选定表的全部内容，到另一个数据库。源和目标的数据库可以是在相同或不同的群集。数据并行在所有细分转让，使用
使用gptransfer迁移数据
wxc20062006的专栏
08-28 1377
参考文档： https://gpdb.docs.pivotal.io/43160/admin_guide/managing/gptransfer.html https://my.oschina.net/goopand/blog/510083 由于最近在做greenplum数据仓库的迁移时，数据规模在10T左右。 集群一信息: 版本信息：greenplum4.3.8 ma
GP数据迁移：gptransfer工具
weixin_34194359的博客
09-23 388
2019独角兽企业重金招聘Python工程师标准>>> ...
Greenplum不同集群之间同步数据方法及性能1
08-04
这通常需要通过监控系统级别的指标来完成，例如在Linux系统上使用`top`或`htop`命令。 **2.3.3 查看数据节点的内存与磁盘使用情况** 检查`/proc/meminfo`和`df -h`命令获取内存和磁盘信息。 **2.4 查看耗时与表的...
greenplum Utility Guide
01-02
该文档详细介绍了如何使用各种管理和客户端实用工具来管理和维护Greenplum数据库系统。本章节将根据给定的文件内容提取关键知识点，并对其进行深入解读。 #### 二、管理实用工具参考 管理实用工具是用于监控、维护...
Greenplum不同集群之间同步数据方法及性能.pdf
06-14
3.3.2 gptransfer 命令参数介绍.......................................................................................18 3.3.3 查看集群及硬件信息............................................................
Greenplum 6.0 版本介绍
Greenplum中文社区
04-09 807
...
greenplum常用指令
10-15
greenplum常用指令
greenplum常用函数-基础
10-08
gp常用的建表语句，修改新增字段等常见操作，以及时间函数转换和case，基本函数使用，和具体表中遇到的问题。 ps:借用了其他同学的部分总结
《Greenplum5.0 最佳实践》 迁移数据使用Gptransfer
weixin_34380296的博客
11-19 404
使用 Gptransfer 命令迁移一个 Greenplum 数据库集群中的数据到另一台集群（metradata, data） gptransfer 可以迁移数据库中的全部数据或者部分选择的表到另外一台 Greenplum 中。 源数据库和目的数据库可以在同一个集群中，也可以在不同的集群中。 gptransfer 所有的段数据库是并行的移动数据的，使用 ...
greenplum gptransfer 参数与示例详解
知识的力量
05-15 868
$ gptransfer --help 命令名称：gptransfer 对于Greenplum Database 4.2及更高版本，gptransfer实用程序 将源Greenplum数据库系统中的数据库中的对象复制到 目的地Greenplum数据库系统中的数据库。 ************************************************** *** 概要 ******...
GP数据库(GreenPlum)的启动/关闭/更新
蚁人的博客
05-15 1万+
由于GP是分布式的，涉及到多台机器的，所以启动和停止与PostgreSQL有些不同。 一般的PostgreSQL数据库系统，可以用 pg_ctl 来启动、停止或重启数据库服务(postgres). pg_ctl也负责一些任务，如重定向日志输出和适当的分离terminal和process group。GP提供工具 gpstart 和gpstop (目录在 $GPHOME/bin)，功能和gp_ct
GPDB43 Administrator Guide--第八章 使用gptransfer迁移数据
cuiyu3003的博客
09-23 145
第八章 使用gptransfer迁移数据 使用gptransfer工具在database之间传送数据；gptransfer迁移工具可以传送greenplum数据库元数据和数据到另一个数据库。可以通过工具传输整...
greenplum启动、停止、重启、节点修复指南
weixin_45561600的博客
01-06 3129
greenplum启动、停止、重启、节点修复指南
greenplum导数据
weixin_30337251的博客
03-07 125
Greenplum and Hadoop HDFS integration Step 1: Install Java on greenplum Step 2: Set JAVA and HADOOP home for gpadmin export JAVA_HOME=/usr/java/jdk1.6.0_26 export HADOOP_HOME=/home/hadoop Step 3:...
Greenplum中通过外部表进行数据导入导出
热门推荐
爱飞的蒲公英
11-07 1万+
外部表创建服务器后台 gpfdist -p 8081 -d /var/data/staging -l /home/gpadmin/log & 创建以|为分隔符的外部表 CREATE EXTERNAL TABLE ext_expenses ( name text, date date, amount float4, category text, desc1 text ) LOCATIO
Greenplum top命令
最新发布
09-06
2. 打开终端窗口，并使用以下命令登录到Greenplum主节点： ```shell gpssh -f hostfile gpadmin top ``` 其中，hostfile是一个包含所有Greenplum主机名称/IP地址的文件。这将同时在所有主机上运行top命令，并...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

盒马coding

你的支持是我最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值