sqoop导入mysql定时_sqoop 导入数据 全库导入 创建job,实现定时增量导入

先从功能简单的开始介绍，

sqoop导入单个表到hive：

sqoop import \

--connect jdbc:mysql://192.168.49.214:3306/mysqlcdc

--username root \

--password 123456 \

--table data \

--hive-import \

--fields-terminated-by '\t' \

-m 1

这是最简单的将mysql表导入hive中，没有指定hive表名，默认在default库，表名和mysql表同名。sqoop也可以通过sql语句来从多表中选择自己想要的数据，比如：

sqoop import \

--connect 'jdbc:sqlserver://192.168.49.180:1433;database=rcscounty_qn' \

--username sa \

--password 123456! \

--fields-terminated-by '\t' \

--hive-import \

--hive-table rcs.user_orgname \

--m 1 \

--query 'SELECT u.USER_ID as id, u.USER_NAME as name, u.ORG_ID as orgId, o.ORG_NAME as orgName FROM USER u , ORG o where o.ORG_ID = u.ORG_ID and $CONDITIONS'

通过sqoop导入sqlserver数据库的数据，通过query查询出自己想要的数据，将这些数据导入hive中。 $CONDITIONS 是不能缺少的，有查询条件的时候查询条件和and连接，没有查询条件的时候放在where中就可以了。

通过sqoop导入数据到hiv