【Postgresql】ERROR: invalid byte sequence for encoding “UTF8“: 0x00

1.问题描述

最近在做Oracle到Postgresql表数据的同步，采用的是Kettle表输入表输出组件，其中几张表同步时总是报如下错误：
ERROR Batch entry 0 INSERT INTO [table_name] ([column_name]) VALUES ([values]) was aborted: ERROR: invalid byte sequence for encoding “UTF8”: 0x00 Call getNextException to see other errors in the batch.

2.结论

数据中存在 chr(0) 字符
在oracle中， chr(0) 表示的是字符串的结束符
而pg中可能不支持这种字符。

3.解决方法

使用 replace([column_name],chr(0),’’)
或者 replace([column_name],chr(0),null)
以上两种都可，视情况而定

如果不确定哪个字段含有chr(0)，可以这样找：

select case when [column_name1] like '%'||chr(0)||'%'
       then 1 end as [column_name1]
      ,case when [column_name2] like '%'||chr(0)||'%'
       then 1 end as [column_name2]
      ,...
  from [table_name]
where [column_name1] like '%'||chr(0)||'%'
   or [column_name2] like '%'||chr(0)||'%'
   or ...
   ;

---

4.解决过程

起初以为是pg库不支持oracle的gbk字符，在百度上找了个oracle字符集转换函数convert()，试了一下，还是报同样的错误。

我试着在pg库中，执行错误日志中的INSERT INTO语句，发现执行成功。

在oracle库中找到这条数据，发现其中有个字段数据看起来有些不一样。