最近本人用python做了不同数据库类型之间数据转换的工具,目前已完成Mysql,Oracle,excel,json,xml,sqlserver,csv,postgresql之间的转换。
用到技术:vim,各类数据库,python,redis
1、因有些python库在windows上不是很友好,所有直接在linux上编写。因为我的linux没有图形化,所以直接用的vim
2、之所以选择上面列出的数据类型做转换是因为业务需要。(个人认为整个工具的可扩展性很好所以可以增加任何类型数据)
3、人生苦短,我用python
4、redis主要做一些数据转换的实时记录,以便中断后能继续转换
架构:每个数据类型写到一个模块,每个模块的结构相同(方便扩展)。读取及生成的数据结构,存储表结构的数据格式为统一格式。(方便扩展)每个模块中有读表、读数据、建表、写数据四个方法
代码因隐私原因不能上传,不过以后我会更新在转换过程中遇到的难题,及部分难点代码!
1、各类数据库连接池 https://blog.csdn.net/bquau/article/details/87713341
2、数据转换之各类数据库的安装 https://blog.csdn.net/bquau/article/details/87799604