解决金仓数据库KingbaseES V8R6 BYTEA类型写入操作遭遇内存分配失败的问题

问题描述
使用金仓数据库KingbaseES写入512MB+数据,或者在使用COPY命令迁移数据时,出现如下所示报错:
错误: 无法为包含1073725513字节的字符串缓冲区扩大65536个更多字节

问题原因
触发金仓数据库KingbaseES对BYTEA类型的最大容量限制,以及使用方式不当导致。
解决方法
金仓数据库KingbaseES BYTEA(含BLOB、CLOB)的最大上限是大约(不超过)1GB。它不支持以明文的方式写入512MB+的数据,如下所示:
kingbase=# create table tb(x bytea);
kingbase=# insert into tb values (‘x1111111111……111’);
kingbase=# 错误: 无法为包含1073725513字节的字符串缓冲区扩大65536个更多字节
kingbase=# error: invalid memory alloc request size 1073725513

遇到上述错误,可使用接口的方式写入大数据。它支持接口pg_read_binary_file,如下所示:
kingbase=# create table tb(x bytea);
kingbase=# insert into tb values (pg_read_binary_file(‘./900MB.file’);
kingbase=#

金仓数据库KingbaseES除了支持以INSERT的方式写数据,为了方便数据的移植与备份(即数据批量操作),还支持以COPY命令的方式批量写入数据。COPY命令同时支持CSV与BINARY两种方式导入与导出数据。
其中CSV是文本的方式&#

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值