问题描述
使用金仓数据库KingbaseES写入512MB+数据,或者在使用COPY命令迁移数据时,出现如下所示报错:
错误: 无法为包含1073725513字节的字符串缓冲区扩大65536个更多字节
问题原因
触发金仓数据库KingbaseES对BYTEA类型的最大容量限制,以及使用方式不当导致。
解决方法
金仓数据库KingbaseES BYTEA(含BLOB、CLOB)的最大上限是大约(不超过)1GB。它不支持以明文的方式写入512MB+的数据,如下所示:
kingbase=# create table tb(x bytea);
kingbase=# insert into tb values (‘x1111111111……111’);
kingbase=# 错误: 无法为包含1073725513字节的字符串缓冲区扩大65536个更多字节
kingbase=# error: invalid memory alloc request size 1073725513
遇到上述错误,可使用接口的方式写入大数据。它支持接口pg_read_binary_file,如下所示:
kingbase=# create table tb(x bytea);
kingbase=# insert into tb values (pg_read_binary_file(‘./900MB.file’);
kingbase=#
金仓数据库KingbaseES除了支持以INSERT的方式写数据,为了方便数据的移植与备份(即数据批量操作),还支持以COPY命令的方式批量写入数据。COPY命令同时支持CSV与BINARY两种方式导入与导出数据。
其中CSV是文本的方式&#