使用copy from导入postgresql时报ERROR: invalid byte sequence for encoding "UTF8": 0x00错误

最新推荐文章于 2024-05-13 22:36:05 发布
最新推荐文章于 2024-05-13 22:36:05 发布
阅读量1w 收藏 7
点赞数 2
分类专栏： postgresql 文章标签： postgresql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cliviabao/article/details/80762354
版权

问题描述

使用copy from导入postgresql时，报ERROR:  invalid byte sequence for encoding "UTF8": 0x00错误

尝试解决

数据文件是我从oracle导入的，文件编码为utf-8。这个报错还会提示行数，由于我的文件特别大，vim打不开文件，于是我用sed命令把报错行数提出来，再用vim打开，发现并没有什么异常。我用split命令按行数切割后，部分文件也可以导入。

后来参考了postgresql官方文档发现，这是postgresql独有的错误信息，直接原因是varchar型的字段或变量不接受含有'\0'（也即数值0x00、UTF编码'\u0000'）的字符串 。官方给出的解决方法：事先去掉字符串中的'\0'。

解决办法

用sed 命令替换掉 0x00 

sed -i 's/\x00//g;' file
参数说明 -i 表示在原文件直接替换，s/表示替换，/g表示全局替换
cliviabao
关注
  • 2
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
【Postgresql】ERROR: invalid byte sequence for encoding “UTF8“: 0x00
Shaul_Wong的博客
02-11 9569
ERROR: invalid byte sequence for encoding “UTF8”: 0x00 可能是Oracle的表字段中存在chr(0) 字符 1.问题描述 最近在做Oracle到Postgresql表数据的同步，采用的是ETL表输入表输出组件，其中几张表同步时总是报如下错误： ERROR Batch entry 0 INSERT INTO table_name (column_name) VALUES ( values) was aborted: ERROR: invalid byte
数据迁移报“invalid byte sequence for encoding “UTF8“: 0x00 “
m0_62472715的博客
01-03 858
问题分析：0x00 是ascii 的0值，表示null ，通过设置添加参数ignore_char_null_check=on ， 避免空值检查。适用版本：V8R3 , V8R6。
SQL Server数据迁移至PostgreSQL出错的解释以及解决方案
09-10
最近对SQL Server到PostgreSQL的数据迁移时出现了问题，返回的错误为：invalid byte sequence for encoding "UTF8": 0x00。经查证pg源代码，该问题引起的原因是sql server的字符类型字段中含有空字符0，该字符在pg中不支持。
JAVA对文件进行加密时报错
最新发布
2301_78618908的博客
05-13 207
【代码】JAVA对文件进行加密时报错。
ERROR: invalid byte sequence for encoding "UTF8": 0x00
weixin_34186128的博客
10-26 3348
1、使用kettle批量导入数据的时候，数据出现了下面的错误。ERROR: invalid byte sequence for encoding "UTF8": 0x00 关键点：“0x00”意思是：十进制数字0。 所以，解决方法就是将这个出现这个内容的字段进行修改即可，然后就可以继续使用kettle批量导入数据了。 还有一个问题就是，如果自己的字段很多的话，需要自己判断一下，是哪一个字段出...
org.postgresql.util.PSQLException: ERROR: invalid byte sequence for encoding “UTF8“: 0x00
weixin_43084715的博客
11-18 5088
ascii为0插入到oracle中，并不是null，它占用一个字节，要查询出来只能用=chr(0)尽量别插入ascii为0的字符到数据库中，可以用插入空字符串或者null代替，否则检索起来不方便碰到实在是不知道这个字段到底存的是什么的时候，可以使用dump函数去查看它具体的ascii码。可以看到第4行的第2列跟第3行的第2列的空格一样，都是占了一个字节，而且他的ASCII码为0，那么我们可以通过下面的方式将第4行查出来。那么这个第4行第2列到底存的是什么呢，我们可以通过dump函数去查看。
ERROR: invalid byte sequence for encoding “UTF8“: 0x00与java中\u0000处理
qq_30024063的博客
07-19 2260
在数据库中，\0x00是null的转义，在java中null的转义是\u0000，因此在java层面去除\u0000即可。
PostgreSQL ERROR: invalid escape string 解决办法
09-10
主要介绍了PostgreSQL ERROR: invalid escape string 解决办法,本文环境是JDBC+PostgreSQL,需要的朋友可以参考下
Data Import for PostgreSQL试用版:用于PostgreSQL数据库数据导入的工具
07-17
Data Import for PostgreSQL 试用版 试用版 开发语言： 软件 可用平台： Windows/Linux 当前版本： v3.7 EMS Data Import:trade_mark: for PostgreSQL是一款交叉平台(Windows:registered: 和 Linux)的数据库工具，它...
Navicat连接postgreSQL 报错error：column找不到，亲测是Navicat版本不够，下载12版本有用-附件资源
03-05
Navicat连接postgreSQL 报错error：column找不到，亲测是Navicat版本不够，下载12版本有用-附件资源
Postgresql中invalid byte sequence for encoding \"UTF8\": 0x00".
LeoHan
03-13 8486
由于目前Postgresql中官方解释Postgresql对于0x00和\u0000无法支持，必须进行替换。 在java中尝试程序将SQLServer程序导入到Postgreslq中时，发生上述问题，解决办法是： public String transfer0x00(String str){ if(str !=null && str.indexOf(0x00) &...
ERROR: invalid byte sequence for encoding “UTF8”: 0x00
yuemingxingxing的博客
06-09 2951
ERROR: invalid byte sequence for encoding “UTF8”: 0x00
postgresql数据库“invalid byte sequence for encoding “UTF8“: 0x00”事件的经验教训
*** 喵桑_Rachel ***
07-27 6526
虽然已知道用replaceAll('\u0000','')可解决问题，但由于要插入多张表、每个表含多个varchar字段、插入操作由JPA实现、插入操作要批量进行等因素，程序日志内容太笼统，为判断是哪个（或哪些）表、字段造成的、以及是代码原因还是数据原因提供的帮助很少，因而过程中麻烦多多困难重重，现在将其中的经验与教训总结出来，希望对同行们有所帮助。因为浏览器、某些图形化工具在处理含有'\0'的字符串时会自动截断'\0'后面的内容，依旧无法确定是表里的哪个字段。至此，这次折磨人多日的事件终于得到解决。...
PgSQL：解决 ERROR: invalid byte sequence for encoding “UTF8“: 0x00 报错问题
qq_51047851的博客
08-31 2753
csv 文件，以及替换字符的过程都可能需要挺长时间（看 .csv 文件的大小），不要乱点界面不然会卡死被强制退出。由于压缩包的 .csv 文件是加密的，需要先解密，然后就可以打开报错相应的 .csv 文件，这时就直接打开的是 notepad++,最后点全部替换即可，记得 ctrl + s 保存，然后压缩包会提示你保存更改，点确认即可。，下面的替换为给它删到空，因为就是要把 NUL 字符替换为空，然后注意查找模式要选择。在 notepad++ 中，点搜索栏的查找，在弹出窗口选替换，输入框输入。
一次倍受折磨的“invalid byte sequence for encoding "UTF8": 0x00”事件的经验教训
weixin_30492601的博客
01-04 3374
一、概述 invalid byte sequence for encoding "UTF8": 0x00（注意：若不是0x00则很可能是字符集设置有误），是PostgreSQL独有的错误信息，直接原因是varchar型的字段或变量不接受含有'\0'（也即数值0x00、UTF编码'\u0000'）的字符串 。官方给出的解决方法：事先去掉字符串中的'\0'，例如在Java代码中使用str.repla...
SQL：解决PostgreSQL数据库传输出现ERROR: invalid byte sequence for encoding “UTF8“: 0xe5 0x9b 0x20
热门推荐
KaiSarH
11-01 1万+
解决PostgreSQL数据库传输出现ERROR: invalid byte sequence for encoding “UTF8“: 0xe5 0x9b 0x20
ERROR: invalid byte sequence for encoding "UTF8": 0xe5 0xb7 CONTEXT: COPY news_article, line 32973
qq_40907977的博客
10-31 1846
postgres@localhost:~$ psql -U wsgjjkzg -d t_gj_tzy < /data/data1/t_gj_tzy.2035826.sql ERROR: invalid byte sequence for encoding "UTF8": 0xe5 0xb7 CONTEXT: COPY news_article, line 329736 注意 ： 1、“...
invalid byte sequence for encoding "UTF8":0x00
weixin_43472847的博客
05-13 1515
现场环境抽取oracle往mpp里写数据时，报如标题的错误。 原因： 可能是c++应用把字符串的结尾字符\0也一起写到数据库了，导致同步时这个字符写不进去，这个是pg的bug。 解决方案： 截断\0字符前的字符串，后面的丢弃，只能这么办了。 String value = "";//获取值 if(null != value && value.indexOf('\0') >= 0) { value = value.substring(0,value.indexOf('\
PostgreSQL [ERROR: invalid byte sequence for encoding
06-09
这个错误通常是由于文本中包含了无法被当前编码格式所表示的字节导致的。解决该问题的一种方法是将数据转换为正确的编码格式，例如使用UTF-8编码。你可以尝试通过执行以下命令来更改PostgreSQL的编码格式： ``` ALTER DATABASE your_database_name SET client_encoding TO 'utf8'; ``` 注意，这将更改整个数据库的编码格式，因此你需要谨慎操作。如果你只想更改特定表的编码格式，可以使用以下命令： ``` ALTER TABLE your_table_name SET character_set_encoding TO 'utf8'; ``` 请确保在更改编码格式之前备份你的数据以避免数据丢失。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值