oracle sqoop 导出_sqoop导入导出hive/oracle

版本：

sqoop1最新版用户指导：http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.6-cdh5.9.3/SqoopUserGuide.html

1.sqoop从关系型数据库oracle导数据到hive，数据存储为parquet格式。

首先，在hive中建表，按月增量存储的建分区表。存储为parquet文件格式而不是默认的textfile是为了便于在impala中访问数据。

create table if not exists table_name(columns string/double/ , ..)

comment "备注"

partition by (month string)

row format delimited

fields terminated by '\t'

lines terminated by '\n'

stroed as parquet;

用sqoop导数据到hive分区表，Sqoop 1.4.6 导入实战参考示例  http://www.sohu.com/a/149043703_572440

sqoop import \

--connect jdbc:oracle:thin:@IP:DATABASE\

--username USERNAME\

--password -P\

--table 大写表名 \

--columns "多列逗号隔开，不留空格" \

--where "过滤条件" \

--hcatalog-database 数据库 \

--hcatalog-table hive表\

--hcatalog-partition-keys 分区字段\

--hcatalog-partition-values 分区值 \

--fields-terminated-by '\t' \

--lines-terminated-by '\n' \

--split-by '切片字段'  \

--as-parquetfile -m 3

分区表无法实现覆盖导入，非分区表可考虑覆盖导入的方式

sqoop job --create job名 \

-- import \

--connect jdbc:oracle:thin:@ip:1521:数据库 \

--username username\

--password -P\

--hive-import \

--query "SELECT 多列, \

多列 \

FROM pec.sku_no where "过滤条件 AND \$CONDITIONS" \

--fields-terminated-by '\t' \

--lines-terminated-by '\n' \

--as-parquetfile \

--hive-overwrite \

--hive-database hive数据库\

--hive-table hive表名\

--delete-target-dir \

--target-dir /hive/warehouse/hive数据库.db/hive表名 \

--map-column-java "部分需要转换类型的列" \

--split-by 切片字段" \

-m 1 \

--fetch-size 5000

hive中检查数据导入是否成功。

熟悉这些语句后可建批处理脚本，简化批量操作：

2.qoop export工具被用来将文件集合从HDFS中导入到关系型数据库中。从hive导数据到oracle数据库(exports a set of files from HDFS back to an RDBMS)参考示例 https://blog.csdn.net/waterkong/article/details/78708809

第一步：将hive表数据转到hdfs文件系统，已存储在HDFS文件系统的不用再处理。

查询hive表所在文件系统路径：show create table table_name;

第二部：sqoop导出到oracle数据库，目标表必须事先已经在数据库中创建好。注意parquet格式的hive表无法导出到关系型数据库，通过“--hcatalog-database 数据库 --hcatalog-table hive表 "参数指定数据库及表的方式据说可以实现，目前没有测试通，可以试试。

全表导出

增量导出