Sqoop往Hive导入数据实战

分为append和last-modified两种模式，

前者会删除已有数据，后者会更新已有数据和添加新数据。

 

先创建Hive外部表，然后再导入Hive。

sqoop import

--connect jdbc:mysql://localhost/hr   指定mysql的数据库

--table orders    指定是mysql中的什么表

--username root

--password 123456

--hive-import     指定通过Hive来导入

--create-hive-table  创建Hive表，这个表的格式和RDBMS是一样的

--hive-table eShop.orders  //目标表名字

--hive-overwrite   这个开关表示，如果目标表存在就重写。

--m 3

--as-parquetfile/avrofile

 

如何分区后导入Hive

方法就是通过query查询出一些数据

区别就是没有create table的开关了

加上hive-partition-key和value的开关

 

它会在target-dir目录下创建子目录（分区）

子目录名字  /orders/order_date=20140724

 

子目录下面是什么呢，这个文件有几个字段呢，应该是哪几个字段。

所以我这个表我实际包含3个字段&#