千万级数据迁移工具DataX实践和geom类型扩展

DataX快速入门参考

官方https://github.com/alibaba/DataX/blob/master/userGuid.md

环境要求

Linux
JDK(1.8以上，推荐1.8)
Python(推荐Python2.6.X)
Apache Maven 3.x (Compile DataX)

打包

mvn -U clean package assembly:assembly -Dmaven.test.skip=true

本地idea调用

D:pmDataXdatax-coresrcmainjob为测试脚本文件夹
1、job.json 为通过streamreader生成模拟数据，streamwriter用于输出
2、jobmysqlreadtoprint.json 通过查询mysql数据，streamwriter用于输出
3、jobpostgresqltomysqlread_write.json 通过查询postgresql数据，写入mysql
4、jobpostgresqltopostgresqlread_write.json 通过查询postgresql数据，写入postgresql
5、jobpostgresqltopostgresqlreadwritegeom.json 通过查询postgresql数据，包含地理空间geometry类型数据，写入postgresql

数据包含geometry迁移

DataX本身不满足迁移地理空间ge