测试GP HDFS外部表及数据装载流程

前言:GP insert,copy 实际是要先走master,再分发至各个segment,占用master各种资源,segment资源又未充分利用,关键是速度又慢;GP的正确玩法应该是 外部表/gpfdist ,直接用segment装载数据。建立外部表,location到指定的hdfs位置注意:表字段类型与schema信息需要一致 CREATE EXTERNAL TABLE pu...
摘要由CSDN通过智能技术生成

前言:GP insert,copy 实际是要先走master,再分发至各个segment,占用master各种资源,segment资源又未充分利用,关键是速度又慢;GP的正确玩法应该是 外部表/gpfdist ,直接用segment装载数据。

建立外部表,location到指定的hdfs位置

注意:表字段类型与schema信息需要一致

CREATE EXTERNAL TABLE public.company(
   id bigint,
    base character varying,
    estiblish_time character varying,
    reg_capital_amount double precision,
    reg_capital_unit character varying,
    reg_status_f integer,
    company_org_type_f character varying,
    increment_flag integer,
    sync_time bigint)
LOCATION (
    'gphdfs://sdw1:9000/test/company.parquet')
ON ALL
FORMAT 'parquet' (formatter = $$gphdfs_import$$)
ENCODING 'UTF8'
;

外部表成功:

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值