GBase 8a目前版本KAFKA、GBFS数据源加载不支持的文件类型

1、问题现象:
    当前集群加载功能常用的文件类型包括:文本文件、AVRO、JSON、ORC文件,其中手册未写明支持KAFKA、GBFS数据源的文件类型如下:
        KAFKA数据源 —— 不支持ORC文件加载
        GBFS数据源 —— 不支持AVRO文件加载

    但是在实际使用中发现集群并未对SQL语句进行使用限制,即可以在语句里写明这些数据源及文件类型进行加载,但是使用中会出现报错或卡住现象。对用户来说这可能会造成疑惑,再去反查资料或者询问产品售后才能解惑。

    卡住或报错情况举例:    
        --进行ORC文件的KAFKA数据源加载,可能出现长时间卡住不返回的情况,需要ctrl+c停止
gbase> load data infile 'kafka://10.10.1.1:6555/topic1?duration=0#frombeginning' into table t1 data_format orc;
^CQuery aborted by Ctrl+C
ERROR 1733 (HY000): (GBA-01EX-700) Gbase general error: Task 3098 failed, [10.10.1.2:5050](GBA-02AD-0005)Failed to query in gnode:
DETAIL: (GBA-01-600) Gbase internal error: Read operation was interrupted
SQL: LOAD /*+ TID('327771') */ DATA INFILE 'kafka://10.10.1.109:6555/topic1?partition=0|-2' INTO TABLE `test_l`.`t1_n1` DATA_FORMAT 8 FILE_FORMAT UNDEFINED  HOST '10.10.2.165' CURRENT_TIMESTAMP 1679019647870173 SCN_NUMBER 3098 GCLUSTER_PORT 5258 INTO SERVER (HOST '10.10.3.17, 10.10.2.165, 10.10.3.224', PORT '5050', USER 'r

        --进行AVRO文件的GBFS数据源加载,可能出现如下报错:avro dataparser error - EOF reached
gbase> load data infile 'gbfs://10.10.1.1:6666//opt/test/t1.avro' into table t1 data_format avro;
ERROR 1733 (HY000): (GBA-01EX-700) Gbase general error: Task 46 failed, [10.10.1.2:5050](GBA-02AD-0005)Failed to query in gnode:
DETAIL: (GBA-01EX-700) Gbase general error: avro dataparser error - EOF reached
SQL: LOAD /*+ TID('129') */ DATA INFILE 'gbfs://10.10.1.1:6666/46' INTO TABLE `test_l`.`t1_n1` DATA_FORMAT AVRO (WITH_METADATA=TRUE, SCHEMA_CONTENT='') FILE_FORMAT UNDEFINED  HOST '10.10.4.108' CURRENT_TIMESTAMP 1678170056845263 SCN_NUMBER 46 GCLUSTER_PORT 5258 INTO SERVER (HOST '10.10.4.108', PORT '5050', USER 'root'


2、问题分析:
    经过询问获悉目前的加载文件类型对于数据源不支持的情况,未在开始进行文件类型判断限制,仅会在加载中以报错的形式表现。


3、解决或绕行方案:
    当前版本加载各类文件类型时关注手册,避免使用未写明支持的数据源进行加载,当遇到类似问题时建议修改数据源,较通用的数据源推荐:FTP、SFTP。

  • 4
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值