大数据用kettle还是python_大数据同步技术DataX和大数据清洗技术Kettle的使用

教学视频：http://113.31.104.47/portal/#/course/courseDetail/b34d160db64624732ef152a1118af11a?courseId=1b7e84f4eb8552536e2267093dbd7972

我观看的是德拓云端培训门户，因为我没有使用德拓的实验环境，所以在看教学视频是难免会遇到一些错误

首先是DataX的使用，

因为没有用Danastudio,所以在下在完DataX后是在CMD里运行的

遇到的问题有：

1.DataX支持的是Python2，而我是python3，所以运行时提醒我print要加()，这个在Python2中是不用的，还有一个是Exception as e,而DataX中写的是Exception , e，这个在Python3中会报错，把这些改了之后就可以了

2.json格式的书写，因为没有用Danastudio，json要自己来写，所以遇到了不少错误

官方给了书写格式，可以根据自己的需要来修改：https://github.com/alibaba/DataX

大数据清洗技术Kettle的使用

这个视频里并没有用德拓公司的软件，所以和教学视频差不多，不过也遇到了一些坑

1.jdk版本问题，我最初用的是jdk10.0，导致DB连接打不开，换成jdk1.8后就可以了

2.视频里用的是PostgreSQL,不过我要用的是MySQL

3.因为用的是mysql，所以在最后输出表时的目标模式不要写，我要视频里写上public后就报错了