目录
概述
近期按业务要求做个迁移某些基础表的小工具(例如人员、角色、菜单、流程等表),业务要求弄个java GUI可视化界面(连接要可配置、迁移表要可配置),支持源库(mysql、oracle、高斯)迁移到目标高斯库,网上有很多现成的工具是可以做到的,但既然业务说要弄那就弄个呗。
实现
因为基础表数据量不大,所以我的实现思路是:
1)从源库导出txt
2)将txt文本通过postgrsql的copymanager方法以流的方式导入到目标库
思考
为啥要分成两步?明明可以一次查询源库然后循环数据插入目标库的。
答:其实,一,是为了方便以后需求扩展,拆分成两步更灵活。二,是用流的方式入库更快更高效。
代码
1)导出txt这个就不用说了,你可以sqldr命令导出txt,椰可以纯jdbc方式查询源库并依次写入txt
2)流的方式导入,这个我前面的文章是有提到怎么做(PostgreSQL或高斯批量导入,序号自增)
遇到的问题
前面扯了那么多其实都不是我这次要说的,哈哈,导入的时候遇到问题了:
invalid byte sequence for encoding "UTF-8":0x96
这个错折磨了我很久,网上百度到的都是答非所问。报这个错是因为一行数据:
1@2219000\22631535@测试嘎嘎@x省万达广场13-17号@0519-6666@1@20230825
'@'是我的分隔符,这行数据出错是有个‘\’反斜杠,导致导入的时候转义啥的。
解决方法
首先说下我的方法能解决我的,不一定能解决你的,别骂我/(ㄒoㄒ)/~~
br = new BufferedReader (new InputStreamReader(new FileInputStream("/home/test/test.txt"),"UTF-8"));
copyManager.copyIn("COPY "+tablename + " FROM STDIN delimiter as '@' NULL as 'null' encoding 'utf8' escape '\\' csv header",br);
escape '\\' csv header ,escape的意思是当作普通字符,将反斜杠当作普通字符导入就行了,至于csv header,那是因为要用escape就必须是csv mode,加上就行了,即使导入文件是txt文本也不影响。