- 博客(4)
- 收藏
- 关注
RSS订阅原创 GBase 8a目前版本KAFKA、GBFS数据源加载不支持的文件类型
但是在实际使用中发现集群并未对SQL语句进行使用限制，即可以在语句里写明这些数据源及文件类型进行加载，但是使用中会出现报错或卡住现象。当前版本加载各类文件类型时关注手册，避免使用未写明支持的数据源进行加载，当遇到类似问题时建议修改数据源，较通用的数据源推荐：FTP、SFTP。经过询问获悉目前的加载文件类型对于数据源不支持的情况，未在开始进行文件类型判断限制，仅会在加载中以报错的形式表现。--进行ORC文件的KAFKA数据源加载，可能出现长时间卡住不返回的情况，需要ctrl+c停止。
2024-05-06 14:30:27
208
原创 GBase 8a - GCDW k8s版s3加载报错The difference between the request time问题解决
1、问题现象：在GCDW k8s版本，执行s3加载，其中加载语句采用通配符加载方式，出现报错：The difference between the request time and the server's time is too large。对S3数据源的系统时间进行调整，或者对GCDW集群下各coor节点和warehouse节点的系统时间进行调整，使两者时间差为秒级。（2）对S3数据源的系统时间进行查看，发现其时间与GCDW集群的系统时间相差半小时。再次执行，可成功加载。
2024-05-06 14:27:34
287
原创 GBase 8a宽松模式下加载文本文件时对分隔符的字符数限制，各大版本间有差异
但是目前使用发现，953版本和862b43版本，在宽松模式（data_format 5）下，支持列分隔符（fields terminated by）为多字符的情况，而952和862b33版本则仍保持列分隔符仅支持单字符。在953的产品手册里提及：“宽松模式处理规则与文本方式加载处理规则不一致的有：1) 行分隔符、列分隔符、包围符仅支持单字符（单字节），指定多字符报错；”，其中提及列分隔符仅支持单字符。如确实为多字符又必须加载到952或862b33版本，考虑对数据文件的列分隔符进行替换调整。
2024-03-20 15:34:57
168
1
原创 GBase 8a使用方式不合理导致gbfs加载卡住或宕机的情况分析
经过了解，发现了以上问题的引发原因：是gbfs版本与集群版本不同步导致，953.22的gbfs里没有新文件类型orc和avro的相应处理内容，会导致后续的报错、卡住、宕机情况。在953版本使用gbfs加载时，我遇到了无法成功加载orc、avro文件的情况，经过试验及了解，发现是版本不对应导致的，目前gbfs还不支持这两个文件类型的加载，特此记录。由于当前无适用版本，又需要加载orc和avro文件，建议换成ftp/sftp/http加载，避免延误加载使用。（2）orc文件加载卡住，ctrl+c后宕机。
2024-03-20 15:32:10
303
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人