sqoop导入数据到hive---2

1.hive-table

从mysql导入数据到hive表中，可以使用--hive-table来指定hive的表名，不指定hive表名，则hive表名与mysql表名保持一致。

sqoop import --connect jdbc:mysql://localhost:3306/test --username root --password 123456 --table person --hive-import --fields-terminated-by '|' --lines-terminated-by "\n" -m 1 --hive-table person_mysql

hive中的表结构是：

hive> show create table person_mysql;
OK
CREATE TABLE `person_mysql`(
  `id` int, 
  `name` string)
COMMENT 'Imported by sqoop on 2016/07/26 15:13:48'
ROW FORMAT DELIMITED 
  FIELDS TERMINATED BY '|' 
  LINES TERMINATED BY '\n' 
STORED AS INPUTFORMAT 
  'org.apache.hadoop.mapred.TextInputFormat' 
OUTPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION
  'hdfs://hadoop26:8020/user/hive/warehouse/person_mysql'
TBLPROPERTIES (
  'COLUMN_STATS_ACCURATE'='true', 
  'numFiles'='1', 
  'totalSize'='18', 
  'transient_lastDdlTime'='1469517213')
Time taken: 0.21 seconds, Fetched: 18 row(s)

 

2.create-hive-table工具

create-hive-table工具是依据mysql中的表定义在hive中创建一个表

sqoop create-hive-table --connect jdbc:mysql://localhost:3306/test --username root --password 123456 --table person --hive-table person_mysql_222 fields-terminated-by '|'

 

 只在hive中创建了表，没有把数据进行导入，所以hive表中是没有数据的：

hive> select * from person_mysql_222;
OK
Time taken: 0.299 seconds
hive> show create table person_mysql_222;
OK
CREATE TABLE `person_mysql_222`(
  `id` int, 
  `name` string)
COMMENT 'Imported by sqoop on 2016/07/26 15:22:14'
ROW FORMAT DELIMITED 
  FIELDS TERMINATED BY '|' 
  LINES TERMINATED BY '\n' 
STORED AS INPUTFORMAT 
  'org.apache.hadoop.mapred.TextInputFormat' 
OUTPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION
  'hdfs://hadoop26:8020/user/hive/warehouse/person_mysql_222'
TBLPROPERTIES (
  'transient_lastDdlTime'='1469517719')
Time taken: 0.22 seconds, Fetched: 15 row(s)

 

3.import-all-tables工具

将数据库中所有的表都导入到hive中

目前mysql中有person、sun两张表

sqoop import-all-tables --connect jdbc:mysql://localhost:3306/test --username root --password 123456 --hive-import -m 1

 

这样在hive中也生成了两张表，分别是person和sun.

 

在这个语句中也可以指定hive-table来指定一个表名，这样多个表的数据就会导入到一个hive表中了。

 sqoop import-all-tables --connect jdbc:mysql://localhost:3306/test --username root --password 123456 -m 1 --hive-import --hive-table all_person

转载于:https://www.cnblogs.com/dongdone/p/5707817.html