gp数据库的数据加载与卸载---基于外部表

一.连接数据库

 

 

 

 

 

2 启动 gpfdist 

 

 

 

启动过程：

 

 

 

 

把数据文件.dat拖入linux下，存放在 /home/gpadmin/gptestdata / 目录下

 

 

 

 

创建外部表成功

 

 

 

创建加载目标表：

 

 

 

 

 

加载数据：

 

 

客户端查看数据：

 

 

 

 

 

 

 

 

问题一：

 

解决办法：错误原因是之前在启动gpfdist的时候已经写了  -d /home/gpadmin了，所以在这里location这里的地址应该是写相对路径了，即：

location（'gpfdist://192.168.55.61:8081/gptestdata/customers.dat'）;

 

 

 

问题二：

 

 

错误原因： SEGMENT REJECT LIMIT子句允许隔离外部表中格式错误的数据，并继续装载格式正确的行。使用SEGMENT REJECT LIMIT设置一个错误阈值，指定拒绝的数据行数（缺省）或一个占总行数的百分比（1-100）。

        如果错误行数达到了SEGMENT REJECT LIMIT的值，整个外部表操作失败，没有数据行被处理。限制的错误行数是相对于一个虚拟段的，不是整个操作的。如果错误行数没有达到SEGMENT REJECT LIMIT值，操作处理所有正确的行，丢弃错误行，或者可选地将格式错误的行写入日志表。LOG ERRORS子句允许保存错误行以备后续检查。

        设置SEGMENT REJECT LIMIT会使HAWQ以单行错误隔离模式扫描外部数据。当外部数据行出现多余属性、缺少属性、数据类型错误、无效的客户端编码序列等格式错误时，单行错误隔离模式将错误行丢弃或写入日志表。HAWQ不检查约束错误，但可以在查询外部表时过滤约束错误。

 

创建的表结构缺少字段：

 

 

 

删除外部表：

 

 

 

 

 

基于copy的数据加载和卸载：

 

 

 

转载于:https://www.cnblogs.com/wyl89/p/8625442.html