人大金仓ksql导入数据文件

1 人大金仓导入数据文件的分割符为特殊字符

数据文件分割符为特殊字符这种是非常常见的，很多数仓用的都是这种

2 以前文章有写kingsql的操作

https://blog.csdn.net/qq_41258451/article/details/130036849?spm=1001.2014.3001.5501

3 准备测试表和数据

3.1 测试表

create table public.test1(
id varchar2(100),
name varchar2(100),
age int,
date varchar2(8)
)

3.2 测试数据

分割符可以用notpad++查看

构建特殊分割符和正常分割符的测试数据，特殊字符在不同的系统显示不一样 ，我以截图表示
这个是windos上的显示

这个是linux上的显示

正常分隔符

1@|@张三@|@20@|@20230923
2@|@李四@|@30@|@20230922
3@|@王五@|@22@|@20230921

4 导入数据

数据在服务器路径

查看表情况

4.1 导入正常分隔符的数据

# 登录
/opt/Kingbase/ES/V8/Server/bin/ksql -U system -h 192.168.0.199 -p 54321 -W 123456 -d test
# 导入数据
\copy public.test1  from '/root/te/data2.txt' delimiter as '@|@' ENCODING 'UTF8'

数据导入成功

4.2 导入特殊分割符数据

/opt/Kingbase/ES/V8/Server/bin/ksql -U system -h 192.168.0.199 -p 54321 -W 123456 -d test
# 导入数据
\copy public.test1  from '/root/te/data.txt' delimiter as E'\01' ENCODING 'UTF8'

数据导入成功

4.3 另一种常见的特殊分隔符导入

linux显示，date3.txt就是这个文件名字


验证数据

4.4 总结

# 正常分隔符
\copy public.test1  from '/root/te/data2.txt' delimiter as '@|@' ENCODING 'UTF8'

# 特殊分隔符在windows显示SOH
\copy public.test1  from '/root/te/data.txt' delimiter as E'\01' ENCODING 'UTF8'

# 特殊分割符在windows显示ESC
\copy public.test1  from '/root/te/data3.txt' delimiter as E'\33' ENCODING 'UTF8'

如果是特殊字符需要写成delimiter as E‘/xx’ xxx为该特殊字符对于的8进制值

SOH对于的8进制值是10
ESC对应的8进制是33

5 导出以特殊字符分割的数据文件（补充）

# 连接数据库
/opt/Kingbase/ES/V8/Server/bin/ksql -U system -h 192.168.0.199 -p 54321 -W 123456 -d test
# 导出
\copy (SELECT * FROM public.test1) to '/tmp/emp.dat' with delimiter E'\04' null ''  encoding 'UTF8'

备注(导入数据’'和null的映射)

null 值在数据文件里一般都是空串，这里导入和导出时需要特殊指定下，下面是将''解释为null的写法
# 导出数据文件
\copy (SELECT * FROM public.test1) to '/tmp/emp.dat' with delimiter E'\04' null ''  encoding 'UTF8'

# 导入的写法
\copy public.test1  from '/root/te/data2.txt' delimiter as '@|@' null '' ENCODING 'UTF8'