国产数据库---GBase 8a加载报错Line length 5988446 is 问题分析

最新推荐文章于 2024-03-29 14:25:43 发布
最新推荐文章于 2024-03-29 14:25:43 发布
阅读量474 收藏
点赞数
文章标签： 数据库 database big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010682157/article/details/121572338
版权

GBase 8a数据库集群在加载时，是逐行解析的，所以要提前为每一行预留出足够的内存。默认值是4M，如果用户一行数据超过了这个参数值，则会报这个错误Line length 5988446 is more than gbase_loader_max_line_length。通过提高参数值或者确认数据没有质量问题来解决。

报错样例

Line length 5988446 is more than gbase_loader_max_line_length
DETAIL

GBA-01-600) Gbase internal error: Line length 5988446 is more than gbase_loader_max_line_length ( 4194304) in file。

原因

一行数据的宽度超过了允许的最大一行宽度值。

解决

增大参数值
确认数据质量，是否垃圾数据导致超宽

u010682157
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
GBase 8a MPP 加载报错 Line length is more than gbase_loader_max_line_length
zzzPQ的博客
01-11 406
gbase 8a 加载
【GBase 8a MPP数据库集群】加载报错 Line length is more than gbase_loader_max_line_length
zxnkiss87的博客
06-27 386
加载报错:Line length 8388601 is more than gbase_loader_max_line_length(4194304)。gbase_loader_max_line_length 这个参数的意义是加载最大行宽的字节数。 可以检查一下文件最大行宽是否超过了参数默认值，也可以将参数值调大一些。...
GBase 8a 全文索引更新时报错
wanghailiang2021的博客
12-22 281
问题现象 全文索引更新处理时报错。 查看 express.log，gcluster 层有如下的异常信息： 2018-05-23 20:42:15.653 [SQLDISP][ERROR][S:3651112][Q:119671099]:Quer y failed, THD(0x11506e000) HOST(15.150.8.95:5050->6138812) reason: Lost connection to GBase server during query SQL(UPDATE GCLOCAL
GBase 8a优化加载的参数相关配置
Mr_dar的博客
04-24 771
在GBase 8a中有多种方式优化加载，本章节讲解的参数可以很好的优化加载性能。 提升加载性能参数 gcluster_loader_max_data_processors gcluster_loader_max_data_processors 为单个数据加载任务中最大加载机的个数，默认取值为 16。通常建议 gcluster_loader_max_data_processors 取值为 4~8。在使用 sftp 加载时，需要特别关注 ssh 连接个数限制，可能因为加载需要连接 sftp的加载机个数太多
GBase 8a MPP使用时 数据库基础问题之一
Joe72的博客
01-31 372
GBase 8a MPP使用时 数据库基础问题之一
5-GBase 8a MPP Cluster 数据加载.pdf
09-24
GBase 8a MPP Cluster 是一款由南大通用数据技术股份有限公司开发的高性能并行数据库系统，专门设计用于处理大规模的数据分析任务。MPP（Massively Parallel Processing）架构使得该系统能够在分布式环境下并行处理...
数据库迁移工具-C版-01-HappySunshineV1.0-(支持Gbase8a)
10-17
Gbase8a是由南大通用数据技术有限公司开发的一款高性能、高可用性的分布式列式数据库，广泛应用于大数据处理和分析场景。 1. **HappySunshineV1.0工具介绍** HappySunshineV1.0是一款专为数据库迁移设计的工具，...
GBase 8a培训教材-201911-2.pdf
07-21
GBase 8a培训教材
GBase8a数据库安装包-文档-驱动.zip
12-09
GBase数据库服务端安装，文档，及驱动程序。........linux服务器，版本GBase8a-NoLicense-Free-8.6.2_build33-R3-redhat7.3-x86_64.tar
自制数据库迁移工具-C版-02-HappySunshineV1.1-(支持Gbase8a)
10-25
Gbase 8a是由南大通用数据技术股份有限公司开发的一款高性能、高可用性的分布式列式数据库，适用于大数据处理和分析。其特性包括支持SQL标准、高并发读写、大规模并行处理等，广泛应用于电信、金融、政府等领域。...
gbase报错总结(持续更新)
weixin_36815898的博客
04-01 5048
gbase报错总结文件入库 文件入库 执行load语句时，报I/O 错误 gbase@gbase01:~$ gccli -uroot -Dssbm -vvv -e "load data infile 'sftp://gbase:gbase123@172.16.227.110//opt/ssbm/data/lineorder.tbl' into table lineorder data_format 3 fields terminated by '|';" -------------- load data i
Gbase 8a数据加载常见错误
weixin_48176444的博客
11-19 6714
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
GBase 8a ftp加载报错导致自动任务中断
wanghailiang2021的博客
02-23 393
问题现象 问题现象 ftpftpftp加载报错导致自动任务中断。 加载报错导致自动任务中断。 加载报错导致自动任务中断。 加载报错导致自动任务中断。 加载报错导致自动任务中断。 加载报错导致自动任务中断。 原因分析 原因分析 短时间内并发加载任务过多， 短时间内并发加载任务过多， 短时间内并发加载任务过多， 短时间内并发加载任务过多， 短时间内并发加载任务过多， 短时间内并发加载任务过多， vsftpdvsftpd vsftpdvsftpd 配置的 配置的 pasv pasv端口数量不足。 端口数量不足。
南大通用数据库-Gbase-8a-报错集锦-05-Incorrect datetime value（out of range）
qq_45111959的博客
07-20 709
本文介绍南大通用数据库-Gbase-8a--加载datetime类型数据时出现的报错：Incorrect datetime value和out of range，分享解决办法和错误模拟过程。
GBase 8a数据库超长行加载功能介绍
最新发布
qq_57801093的博客
03-29 184
简单介绍GBase8a数据库超长行加载功能使用方式
GBase 8a MPP集群数据加载及常见问题总结
weixin_49590537的博客
11-24 5412
1 数据加载基础 1.1 数据加载语法格式 GBase 8a MPP Cluster支持通过SQL接口进行数据加载。 语法格式: LOAD DATA INFILE ‘file_list’ INTO TABLE [dbname.]tbl_name [options] options: [CHARACTER SET charset_name] [DATA_FORMAT number [HAVING LINES SEPARATOR]] [NULL_VALUE ‘string’] [FIELDS [TERMINAT
南大通用数据库-Gbase-8a-学习-14-LOAD加载数据
qq_45111959的博客
08-18 3328
介绍gbase8a load语法、部署FTP服务器、支持的数据源以及相关实验： 1、local 2、ftp 3、sftp
GBASE 8A 管理员手册（3）数据加载
aisirea的博客
12-17 703
加载功能 在V8. 6.1. 1版本GBase 8a中，加载功能直接集成在GBase 8a内部，不需 要额外部署外部加载工具。 与V8. 5.1. 2版本单机加载工具相比，新版加载工具具备如下一些特性和优 点： 1） 提供面向用户的SQL接口，更符合用户的使用习惯； 2） 支持从通用数据服务器拉取数据，支持ftp/http/hdfs/sftp等多种协 议； 3） 支持普通文本、gzip压缩、snappy压缩、Izo压缩等多种格式数据文 件； 4） 支持普通文本与定长文本的加载（format 3和forma

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值