一、功能概述
加载时允许用户设置数据文件中一行的最大长度(gbase_loader_max_line_length系统参数值)。当数据单行长度大于此值时,加载报错退出;小于、等于此值时,加载成功,超长行skipped,超长行被作为错误数据,生成err和trc文件。
同时可指定max_bad_records,当错误数据条数超过了max_bad_records时,加载报错停止,报错信息:Too many bad records!
二、参数
1.参数功能:
指定数据文件中一行数据的最大字节数。当数据单行长度大于此值时,加载报错退出;小于、等于此值时,加载成功,超长行被作为错误数据。
2. 参数规格:
参数名称 | 取值范围 | 默认值 | 是否为全局级 |
gbase_loader_max_line_length | [4194304,9223372036854775807] | 4194304 | Y |
3.设置方式:
sql语句设置:set gbase_loader_max_line_length= 8388608。
配置文件设置。
三、加载处理流程
超长行(即单行>4M的行数据)长度小于、等于gbase_loader_max_line_length:
加载执行成功,在客户端执行结果中显示跳过的条数,并将超长行的行数据记录到.err中,且在.trc中记录关于错误数据的描述
超长行长度大于gbase_loader_max_line_length:
加载报错停止,报错信息类似:Line length 10485760 is more than gbase_loader_max_line_length in file, 错误信息输出到sql的返回结果中,导致报错的行数据记录在.err中,且在.trc中记录错误数据的描述。