moia调度mysql到hive_hadoop项目实战--ETL--（三）实现mysql表到HIVE表的全量导入与增量导入...

一 在HIVE中创建ETL数据库

->create database etl;

二 在工程目录下新建MysqlToHive.py 和conf文件夹

在conf文件夹下新建如下文件，最后的工程目录如下图

三 源码

Import.xml

add

oder_add.xml

jdbc:mysql://192.168.0.154:3306/db_etl

root

123456

oderinfo

etl

dt

$dt

crt_time

lastmodified

23:59:59

1

id

oder_all.xml

jdbc:mysql://192.168.0.154:3306/db_etl

root

123456

oderinfo

etl

dt

$dt

1

id

user_add.xml

jdbc:mysql://192.168.0.154:3306/db_etl

root

123456

userinfo

etl

dt

$dt

crt_time

lastmodified

23:59:59

1

id

user_all.xml

jdbc:mysql://192.168.0.15