10 工作中常见知识汇总

10 工作中常见知识汇总

10.1在使用外表时注意的问题

10.1.1 注意\线的转义问题

10.1.1.1 问题示例

在以上的结果中可以看出GP把\给转义了

10.1.1.2 解答方法

drop external table if exists  main.*******_external_20181214;

create external table  main.*******_external_20181214(

*******

)

LOCATION ('gphdfs://nameservice1/tmp/******-oracle-gp/batchDate/t-ent-baseinfo/*') format 'text' (delimiter E'\u0001' NULL as 'null string'  ESCAPE as 'OFF' FILL MISSING FIELDS)

LOG ERRORS SEGMENT REJECT LIMIT 8000 ROWS;

使用ESCAPE as 'OFF' 即可关闭转义，默认的是打开的

详细信息请查看:https://gpdb.docs.pivotal.io/5140/ref_guide/sql_commands/COPY.html

10.1.2 \1转特殊字符的问题

10.1.2.1 问题示例

以下是HDFS上展示的效果

13529225049\18088249

以下是GP中显示的效果

select tel from main.*******_external_20181214 s_ext_sequence='190041387873';

原因是GP加载外表时没有进行转义特殊字符，导致GP中把\1转换成\U001即为16进制的SOH 特殊字符

10.1.2.2 解答方法

drop external table if exists  main.*******_external_20181214;

create external table  main.*******_external_20181214(

*******

)

LOCATION ('gphdfs://nameservice1/tmp/******-oracle-gp/batchDate/t-ent-baseinfo/*') format 'text' (delimiter E'\u0001' NULL as 'null string'  ESCAPE as 'OFF' FILL MISSING FIELDS)

LOG ERRORS SEGMENT REJECT LIMIT 8000 ROWS;

使用ESCAPE as 'OFF' 即可关闭转义，默认的是打开的

详细信息请查看:https://gpdb.docs.pivotal.io/5140/ref_guide/sql_commands/COPY.html

10.2 COPY命令常见错误汇总

10.2.1数据中有双引字符

10.2.1.1 问题示例

$ psql -d ****** -h 192.168.***** -p 5432 -U gpadmin -c "COPY main.main.*******_external_20181214  FROM '/home/xiaoxu/hdfs-to-greenplum/error-data/t****_error_20181214.csv' WITH csv DELIMITER E'\001'";

ERROR:  unterminated CSV quoted field  (seg1 192.168.*****:40001 pid=336648)

在以上可以看出数据中有双引号导致了不能正确的入库

10.2.1.2 解答方法

解决方式使用sed命令替换掉即可:#  sed  -i ‘s/”//g’ filename  或手动去掉即可

10.3 查看字段中有特殊字符SQL

10.3.1 先把表字段获取出来

select col.column_name from information_schema.columns col where col.table_schema='schemaName' and col.table_name ='tableName' order by col.ordinal_position

schemaName : schema的名字

tableName: 表的名字

10.3.2 查询表中的错误数据

select filedname from schemaname.tablename where filedname~'[\u0000-\u001f]';

filedname：字段的名字

schemaName : schema的名字

tableName: 表的名字

[\u0000-\u001f] : 是匹配的隐藏特殊字符,详情请查看:

ASCII控制字符和ASCII可显示字符_盒马coding的博客-CSDN博客

10.3.3 注意分布键的问题

10.3.3.1 现象说明

在下图可以看出在使用分布键是直接写成by就会把字段进行了起别名，现象如下

10.3.3.2 现象解答说明

此现象说明:分布键问题 · Issue #6539 · greenplum-db/gpdb · GitHub