Sqoop导入导出Hive示例

Sqoop是连接传统关系型数据库和Hadoop的桥梁。把关系型数据库的数据导入到 Hadoop 系统 ( 如 HDFS、HBase 和 Hive) 中；把数据从 Hadoop 系统里抽取并导出到关系型数据库。利用MapReduce，批处理方式进行数据传输。

本篇文章主要是根据Sqoop导入导出到Hive的实际示例，对Sqoop中的import与export进行简要介绍：

========================一、sqoop数据导入import===========================

--先在Hive建表（oracle库有已建好的表TESTDB.TEST_PLANSIGN_CONF）
CREATE TABLE mydatabase.test_plansign_conf(
id decimal(38,6),
plan_sign string,
remark string,
state decimal(38,6),
create_time timestamp,
update_time timestamp
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\001' 
STORED AS TEXTFILE
LOCATION '/user/hive/mydatabase/test_plansign_conf'; 

1、导入oracle数据到HDFS中(注：oracl的表名和字段名要大写)

sqoop import \
--connect jdbc:oracle:thin:@192.168.30.1:1521/orcl_test \
--username admin \
--password admin123 \
--table TESTDB.TEST_PLANSIGN_CONF \
--target-dir /user/hive/mydatabase/test_plansign_conf \
--delete-target-dir \
--fields-terminated-by '\0x01' \
--compress \
--compression-codec org.apache.hadoop.io.compress.GzipCodec \
-m 4 \
--split-by id \
;

2、导入oracle数据到HDFS(同时创建hive表，同时load数据到hive中)sqoop import \
--connect jdbc:oracle:thin:@192.168.30.1:1521/orcl_test \
--username admin \
--password admin123 \