将csv导入PostgreSQL报错：无效的 “UTF8“ 编码字节顺序: 0x00

最新推荐文章于 2024-03-23 13:45:02 发布

dontgotobed

最新推荐文章于 2024-03-23 13:45:02 发布

阅读量1.4k

点赞数 1

文章标签：数据库 postgresql

本文链接：https://blog.csdn.net/m0_48335178/article/details/131493868

版权

文章描述了在尝试将CSV文件导入PostgreSQL时遇到的UTF8编码错误，具体为字节顺序0x00的问题。解决方案是将CSV转换为TXT，然后使用记事本将其从UTF-16编码更改为UTF-8，最后重新保存为CSV并成功导入到数据库。

摘要由CSDN通过智能技术生成

将csv导入PostgreSQL报错：无效的 "UTF8" 编码字节顺序: 0x00

是编码问题。完整报错：

ERROR: 错误: 无效的 “UTF8” 编码字节顺序: 0x00
CONTEXT: COPY summary, line 2
SQL state: 22021

解决方法：

将原csv文档导出为.txt 格式，默认格式是UTF-16
用记事本打开1中的txt，点击文件-另存为，右下角修改编码为UTF-8，保存新txt
新建表格，导入刚刚2的新txt数据，再保存为csv文件im2.csv

此时在pgadmin执行导入语句

COPY summary 
FROM 'D:/etude/travail/im2.csv' 
DELIMITER ',' CSV HEADER;

即可成功

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

dontgotobed

关注关注

1
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

PostgreSQL的学习心得和知识总结（一百四十九）|psql 的使用技巧：设置、预设、回显和已保存的查询

孤傲小二~阿沐的博客

07-24

1163

psql 的使用技巧：设置、预设、回显和已保存的查询

PostgreSQL的学习心得和知识总结（一百二十四）|深入理解PostgreSQL数据库开源扩展pgreplay的安装说明和使用场景

孤傲小二~阿沐的博客

04-08

5459

深入理解PostgreSQL数据库开源扩展pgreplay的安装说明和使用场景

参与评论您还未登录，请先登录后发表或查看评论

无效的 “UTF8” 编码字节顺序: 0x00

qq_28772075的博客

09-15

4972

对于输入对象 sqlsever的数据库表查询时，针对char varchar类型字段做replace函数处理。原由：就是因为sqlserver和pg的编码不一致，sqlserver的空串处理用了结束符，pg不支持该字符导入。在通过kettle对sqlsever数据迁移至postgresql操作时，报错无效的 “UTF8” 编码字节顺序: 0x00。SQL案例： select REPLACE(fieldName, CHAR(0), '') from table。查询结果做处理，增加字符串替换，再去导入。

Java -- 报错：java.lang.IllegalArgumentException: Null input buffer & 无效的 “UTF8“ 编码字节顺序: 0x00

热门推荐

支棱起来

10-26

1万+

背景：我们需要将一段文本存库，存库时报错：无效的 "UTF8" 编码字节顺序: 0x00 java.lang.IllegalArgumentException: Null input buffer 此时想到对这段文本进行转码存储。实施起来，转码过程没有问题，也能够存到数据库里了。但是从数据库中读取后，解码时还是会报错。将最开始的文本用 nodepad++ 打开，发现在本文中存在一个 Nul 字符，就是这个该死的字符引起的这一系列的问题既然转码这条路走不通，那么我们就考虑将这个字符去掉 public

Caused by: com.kingbase8.util.KSQLException: 错误: 无效的 “UTF8“ 编码字节顺序: 0x00

夏露九月

10-12

3950

Caused by: com.kingbase8.util.KSQLException: 错误: 无效的 “UTF8“ 编码字节顺序: 0x00

kettle同步数据表时报错:无效的 “UTF8” 编码字节顺序: 0x00

nasty11pig的博客

05-17

2489

kettle同步数据表时报错:无效的 “UTF8” 编码字节顺序: 0x00 问题描述通过navicat查询该条数据显示为乱码,翻阅百度PostgreSQL不支持存储NULL（\ 0×00）的文本字段中的字符通过Python psycopg2查询得到字段原始字符串 ‘自%D\x00\x00\x0bP\x08\x0033\x00\x00\x00\x0c1Ｓ呕菹凳??’ 解决方法既然是0x00子串问题, 那就通过字符串转换工具将0x00字符串替换.经过不断尝试得出解决方法: 使用正则表达式选是, 选

PgSQL：解决 ERROR: invalid byte sequence for encoding “UTF8“: 0x00 报错问题

qq_51047851的博客

08-31

4146

csv 文件，以及替换字符的过程都可能需要挺长时间（看 .csv 文件的大小），不要乱点界面不然会卡死被强制退出。由于压缩包的 .csv 文件是加密的，需要先解密，然后就可以打开报错相应的 .csv 文件，这时就直接打开的是 notepad++,最后点全部替换即可，记得 ctrl + s 保存，然后压缩包会提示你保存更改，点确认即可。，下面的替换为给它删到空，因为就是要把 NUL 字符替换为空，然后注意查找模式要选择。在 notepad++ 中，点搜索栏的查找，在弹出窗口选替换，输入框输入。

PG错误：无效的编码序列“UTF8“: 0x00

qq_944898732的博客

01-26

3413

在向pg中copy或者insert数据提交之前，现将其中的字符类型字段值中的空字符\0取掉即可成功执行。 str.replaceAll("\0", “”); 或者str.replace("\0", “”);

oracle导入大量csv_大量数据从Oracle数据导入导出的方法

weixin_36475451的博客

01-28

2369

在日常工作中；经常会遇到这样的需求：Oracle 数据表跟文本或者文件格式进行交互；即将指定文件内容导入对应的 Oracle 数据表中；或者从 Oracle 数据表导出。其他数据库中的表跟Oracle数据库进行交互。若是少量数据；可选择的解决方案有很多。常用的用 Pl/SQL developer工具，或者手动转换为 INSERT 语句，或者通过API。但数据量大；用上面的方法效率太烂了。本文来说说...

红队攻防渗透技术实战流程：红队目标信息收集之基础资产信息收集

最新发布

HACKONE的博客

03-23

1202

在红队渗透测试中，客户的合作至关重要，他们会提供目标资产的基本信息作为初始攻击面。红队的行动范围通常是由客户明确授权界定的，这其中包括但不限于对主域名、下属子公司以及整个供应链体系中的相关资产进行安全测试。红队需严格按照约定的边界执行任务，可能涵盖但不限于对主域名下的各个子域名进行深度侦查，探究子公司间的网络互联情况，以及深入分析供应链各环节的软硬件设施、业务流程和数据交换点，以全方位评估和模拟真实攻击场景下的安全风险。在执行过程中，红队始终保持专业操守，确保所有行动均在合法、合规的前提下进行，并以增强客户

Qt开发经验总结

草上爬的博客

12-02

8761

增加了很多轮子，同时原有模块拆分的也更细致，估计为了方便拓展个管理。把一些过度封装的东西移除了（比如同样的功能有多个函数），保证了只有一个函数执行该功能。把一些Qt5中兼容Qt4的方法废弃了，必须用Qt5中对应的新的函数。跟随时代脚步，增加了不少新特性以满足日益增长的客户需求。对某些模块和类型及处理进行了革命性的重写，运行效率提高不少。有参数类型的变化，比如 long * 到 qintptr * 等，更加适应后续的拓展以及同时对32 64位不同系统的兼容。

postgresql免安装版正在执行自举后初始化无效的 “UTF8“ 编码字节顺序: 0xcf 0xc2

qqww155的专栏

11-23

240

路径不要有中文。

c#连接postgreSQL数据库，“错误：22021，用于编码“ UTF8”的无效字节序列”的解决方法

shankedixin的博客

11-09

3276

在使用c#连接postgresql数据库后，操作数据库过程中若出现中文字符，经常会出现error：22021的错误，这是由于没有将中文字符强制转换为UTF-8编码的原因。这种情况下在连接数据库时的连接字符串中加上encoding=UNICODE；就能解决。 string connectionString = "Server=xxx;Port=5432;User Id=xxx;Password=xxx;Database=xxx;encoding=UNICODE"; ...

Cause: org.postgresql.util.PSQLException: 错误: 无效的 “UTF8“ 编码字节顺序: 0x00

alinekang的博客

12-17

4498

数据入库时报错了，一开始还觉得很奇怪呢，难道是我的表字段问题？？之前入库都好好的呀。后来百度一下，才发现是因为入库的数据包含了空格。。。（因为这份数据是测试自己造的）所以在set时，String.trim() 保存就ok了 ...

UTF-8 序列的字节 2 无效 utf-8和汉字的转换（真麻烦）

john2522的专栏

04-08

7532

汉字和utf8的编码问题

Kettle采集数据时遇到error:invalid byte sequence for encoding "UTF8": 0x00

guotufu的博客

07-31

4994

我们项目有个需求是需要通过 Kettle把数据从 oracle采集到postgresql，然后在采集过程中发现出现了invalid byte sequence for encoding "UTF8": 0x00导致采集失败，经查阅相关资料，pg官网上解释是因为pg数据库不能存储\u0000这样的字符，明白了根本原因，解决方案就容易多了，首先是确定哪此字段会包含这种字符，为了快速定位问题，我把ket...

如何从Oracle迁移到Greenplum 第二篇

Greenplum中文社区

04-30

923

在上周和大家分享的《如何从Oracle迁移到Greenplum 第一篇》中，我们介绍了Greenplum和Oracle的产品对比，迁移效果的几个关...

【利用lxml实现网络爬虫】：高效率爬取的秘密武器

[【利用lxml实现网络爬虫】：高效率爬取的秘密武器](https://opengraph.githubassets.com/d6cfbd669f0a485650dab2da1de2124d37f6fd630239394f65828a38cbc8aa82/lxml/lxml) # 1. 网络爬虫与lxml库概述随着互联网...

python打开文件报错无效序列_psycopg2.DataError:编码“UTF8”的字节序列无效：0xa0

weixin_39958025的博客

11-30

903

psycopg2.DataError:编码“UTF8”的字节序列无效：0xa0

postgresql数据库“invalid byte sequence for encoding “UTF8“: 0x00”事件的经验教训

*** 唐芮棋_Rachel ***

07-27

7387

虽然已知道用replaceAll('\u0000','')可解决问题，但由于要插入多张表、每个表含多个varchar字段、插入操作由JPA实现、插入操作要批量进行等因素，程序日志内容太笼统，为判断是哪个（或哪些）表、字段造成的、以及是代码原因还是数据原因提供的帮助很少，因而过程中麻烦多多困难重重，现在将其中的经验与教训总结出来，希望对同行们有所帮助。因为浏览器、某些图形化工具在处理含有'\0'的字符串时会自动截断'\0'后面的内容，依旧无法确定是表里的哪个字段。至此，这次折磨人多日的事件终于得到解决。...