GBASE 8A v953报错集锦55--Load data 数据中含有 longtext 报内存不足

问题现象

客户加载 load data 数据文件到集群表（表中一列 为 longtext 类型），加载数

据失败，报内存不足。

数据文件：23MB，有 1180 行记录

将所有节点 gncli (gbase> release cache; ) 后，反复加载 4 次（100 行/次），

第五次时报错

解决方法：

862.33R37 版本的现场参数配置不合理造成。不合理的的参数为：

gbase_parallel_max_thread_in_pool=2000

在并发任务的情况下，gbase_loader_parallel_degree 没有配置，默认会取线程池

可用线程数的一半，即 1000 个线程。加载过程中每个 dataparser 线程会创建 2 个

8M 的 Buf 用于上传 trc 和 err 数据，现场的表包含 longblob 字段，这两个 buf 会

被扩充为 128M，因此极端情况下的 TEMP 堆占用会达到 128M*2*1000=256GB，导致

达到内存管理上限最终报错。

参数配置注意事项：

1）gbase_parallel_max_thread_in_pool 不宜设置过大，建议不超过 512；

2）现场生产环境并行度一定要设置合理并行度；

在 V952.38 和 V953.21 版本上已经完善并行度自动评估机制，限定自动评估的并行

度不能超过 CPU 核数。