GBase 8a 数据加载功能

GBase 8a MPP Cluster 提供了面向用户的 SQL 接口进行数据加载,支持多种协议(如本地/ftp/http/hdfs/sftp)和数据格式(包括压缩文件)。该功能支持多加载机并行加载,错误数据溯源,且性能随集群规模扩展而提升。通过LOAD DATA INFILE语句实现数据导入,并可通过information_schema视图监控加载状态和查看错误信息。
摘要由CSDN通过智能技术生成

GBase 8a MPP Cluster 中,集群加载功能直接集成在 GBase 8a MPP Cluster 内部,提供了面向用户的 SQL 接口,集群和单机加载方式统一,支持如下功能:

 支持从通用数据服务器拉取数据,支持 本地/ftp/http/hdfs/sftp 等多种协议;

 支持多加载机对单表的并行加载,最大化加载性能;

 支持普通文本、gzip 压缩、snappy 压缩、lzo 压缩等多种格式数据文件;

 支持普通文本与定长文本的加载(format 3 和 format 4),并与 V8.5.1.2 和 V86版本格式兼容;

 支持错误数据溯源功能,可以准确定位错误数据在源文件中的位置;

 加载性能可以随着集群规模的扩展而持续提升。

加载语法

LOAD DATA INFILE ‘file_list’ INTO TABLE [dbname.]tbl_name [options]

加载示例

示例:

LOAD DATA INFILE ‘ftp://gbase:gbase@127.0.0.1/data/a.tbl’ INTO TABLE test.t DATA_FORMAT 3;

LOAD DATA INFILE ‘http://127.0.0.1/data/b.tbl.gz’ INTO TABLE test.t DATA_FORMAT 3;

LOAD DATA INFILE ‘hdp://gbase@127.0.0.1:50070/data/a.tbl.snappy’ INTO TABLE test.t

DATA_FORMAT 3;

LOAD DATA INFILE ‘ftp://192.168.0.1/pub/lineitem.tbl,ht

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值