hive sqoop 分区导入_sqoop导入导出实例以及多分区案例

1.从mysql导出到hive

1.只插入

sqoop import   \

--connect  jdbc:mysql://localhost:3306/test  \

--username  escheduler_dev  \

--password  2wsxVFR$  \

--query  "select id  as  id,name  as  name,age  as  age from a_demo where  1=1  and  \$CONDITIONS "   \

--hive-import  \

--hive-database  default  \

--hive-table  demo10   \

--target-dir  /tmp/hyj-$RANDOM  \

--hive-partition-key  date_id  \

--hive-partition-value  1000  \

--m  1;  \

注释：--connect是源数据库即mysql；--username和--password是mysql的用户名密码，--query是做查询条件，可以筛选数据，也可以对字段起别名，用于字段映射；

--hive-database和--hive-table用于hive非orc表的语法，即hive的库名和表明；--target-dir缓存目录；--hive-partition-key和--hive-partition-value是分区字段名以及值

2.覆盖

在例1后面拼接 --hive-overwrite

标注：如果hive表为orc表，就sqoop无法进行overw