如何将 gz 文件通过 local data 导入 OceanBase？

在很多领域，数据的传输是基于 csv，并且，为了方便，属于同一张表的多个 csv 文件还是打包成 gz 文件进行传输。

当 gz 文件传输到下游时，需要将 gz 中的 csv 数据导入数据库，最直接的方法是：

1. 在客户机解压 gz
2. 编写 local data local infile 命令将解压后的文件按照通配符全部载入服务机上的数据库里

这种方法有一个弊端：解压 gz 文件，既耗费时间，也耗费存储空间。

有没有办法把 gz 文件直接导入到 OceanBase 中呢？我们有两种思路：

1. 让 OceanBase 识别 gz 文件，支持类似下面的命令：

load data local infile '/home/xiaochu.yh/foo.gz' INTO table test.t1 fields terminated by '|';

这个方案在 v4.3.3 中支持

2. 使用 zcat 动态解压至 Unix 管道，并通过 /dev/stdin直接导入数据到 OceanBase：

zcat  foo.gz | mysql  -h127.1 -P2828 -u myuser -pmypass -Dtest -e "load data local infile '/dev/stdin' INTO table test.t1 fields terminated by '|';"

下面的例子中，将 1.txt 和 2.txt 打包成 foo.gz，然后导入到数据库。使用效果如下：

[xiaochu.yh]cat 1.txt
1|1
1|1
1|1

[xiaochu.yh]cat 2.txt
2|2
2|2

[xiaochu.yh]gzip -c 1.txt 2.txt > foo.gz

[xiaochu.yh]mysql  -h127.1 -P2828 -u myuser -pmypass -Dtest -e "delete from t1;"

[xiaochu.yh]zcat foo.gz | mysql  -h127.1 -P2828 -u myuser -pmypass -Dtest -e "load data local infile '/dev/stdin' INTO table test.t1 fields terminated by '|';"

[xiaochu.yh]mysql  -h127.1 -P2828 -u myuser -pmypass -Dtest -e "select * from t1;"
c1      c2
1       1
1       1
1       1
2       2
2       2