postgresql导入，invalid byte sequence for encoding “UTF8“:0x96

目录

概述

实现

思考

代码

遇到的问题

解决方法

---

概述

近期按业务要求做个迁移某些基础表的小工具（例如人员、角色、菜单、流程等表），业务要求弄个java GUI可视化界面（连接要可配置、迁移表要可配置），支持源库（mysql、oracle、高斯）迁移到目标高斯库，网上有很多现成的工具是可以做到的，但既然业务说要弄那就弄个呗。

实现

因为基础表数据量不大，所以我的实现思路是：

  1）从源库导出txt

  2）将txt文本通过postgrsql的copymanager方法以流的方式导入到目标库

思考

为啥要分成两步？明明可以一次查询源库然后循环数据插入目标库的。

答：其实，一，是为了方便以后需求扩展，拆分成两步更灵活。二，是用流的方式入库更快更高效。

代码

1）导出txt这个就不用说了，你可以sqldr命令导出txt，椰可以纯jdbc方式查询源库并依次写入txt

2）流的方式导入，这个我前面的文章是有提到怎么做(PostgreSQL或高斯批量导入，序号自增)

遇到的问题

前面扯了那么多其实都不是我这次要说的，哈哈，导入的时候遇到问题了：

invalid byte sequence for encoding "UTF-8":0x96

这个错折磨了我很久，网上百度到的都是答非所问。报这个错是因为一行数据：

1@2219000\22631535@测试嘎嘎@x省万达广场13-17号@0519-6666@1@20230825

'@'是我的分隔符，这行数据出错是有个‘\’反斜杠，导致导入的时候转义啥的。

解决方法

首先说下我的方法能解决我的，不一定能解决你的，别骂我/(ㄒoㄒ)/~~

br = new BufferedReader (new InputStreamReader(new FileInputStream("/home/test/test.txt"),"UTF-8"));
 
copyManager.copyIn("COPY "+tablename + " FROM STDIN delimiter as '@' NULL as 'null' encoding 'utf8' escape '\\' csv header",br);

escape '\\' csv header ,escape的意思是当作普通字符，将反斜杠当作普通字符导入就行了，至于csv header，那是因为要用escape就必须是csv mode,加上就行了，即使导入文件是txt文本也不影响。