使用sqoop实现关系型数据库、HDFS、Hive之间数据的导入导出

sqoop概述：sqoop为大数据协作框架之一，以hdfs为核心，实现hdfs与关系型数据库之间的导入导出。

以下操作均建立在已配置好Hadoop、sqoop、hive、mysql等环境，已创建好相应表的基础上

1.mysql->hdfs

sqoop import \
--connect  jdbc:mysql://主机名:端口号/db_name\
--username root \
--password 123456 \
--table  table_name \
--num-mappers 1 \
--target-dir  /sqoop \
--delete-target-dir \
--direct \
--fields-terminated-by '\t'

参数解释：
    num-mappers   指定map的个数
    target-dir    指定目标路径
    delete-target-dir     提前删除指定目录
    fields-terminated-by '\t'    指定分隔符

增量导入

append 追加增量
    sqoop import \
    --connect  jdbc:mysql://主机名:端口号/db_name\
    --username root \
    --password 123456 \
    --table  table_name \
    --num-mappers 1 \
    --target-dir  /sqoop \
    --direct \
    --fields-terminated-by '\t' \
    --check-column id \
    --incremental  append \
    --last-value 1

2.hdfs->mysql

sqoop export \
--connect  jdbc:mysql://主机名:端口号/db_name\
--username root \
--password 123456 \
--table  table_name\
--num-mappers 1 \
--export-dir    /hdfs_mysql \
--input-fields-terminated-by '\t'

参数解释：
    num-mappers   指定map的个数
    export-dir    指定hdfs路径
    input-fields-terminated-by '\t'    指定分隔符

3.mysql->hive

sqoop import \
--connect  jdbc:mysql://主机名:端口号/db_name\
--username root \
--password 123456 \
--table  table_name \
--num-mappers 1 \
--hive-import \
--delete-target-dir \
--hive-database  hive数据库名\
--hive-table  hive中对应的table_name \
--direct \
--fields-terminated-by '\t'

参数解释：
        num-mappers   指定map的个数
        delete-target-dir  提前删除指定目录
        hive-database    hive数据库名
        hive-table     hive数据库中表名
        fields-terminated-by '\t'    指定分隔符

4.hive->mysql

sqoop export \
--connect  jdbc:mysql://主机名:端口号/db_name\
--username root \
--password 123456 \
--table  table_name \
--num-mappers 1 \
--export-dir    /user/hive/warehouse/数据库名/表名 \
--input-fields-terminated-by '\t'

参数解释：
        num-mappers   指定map的个数
        export-dir    指定hive数据库对应的hdfs路径
        input-fields-terminated-by '\t'    指定分隔符

5.hdfs->Oracle

sqoop export \
--connect  jdbc:oracle:thin:@主机名:端口号:ora11g \
--username root\
--password 123456 \
--table  LIVE_VIEWER_SHIP \
--num-mappers 1 \
--export-dir    /user/cxfgs/c3/output/liveRatings/2017/04/30/ \
--input-fields-terminated-by '|'
参数解释：
        num-mappers   指定map的个数
        export-dir    指定hive数据库对应的hdfs路径
        input-fields-terminated-by '\t'    指定分隔符

6.oracle->hive

sqoop import \
--connect  jdbc:oracle:thin:@主机名:端口号:ora11g \
--username root \
--password 123456 \
--table  table_name \
--num-mappers 1 \
--hive-import \
--delete-target-dir \
--hive-database  hive数据库名\
--hive-table  hive中对应的table_name \
--direct \
--fields-terminated-by '\t'

参数解释：
        num-mappers   指定map的个数
        delete-target-dir  提前删除指定目录
        hive-database    hive数据库名
        hive-table     hive数据库中表名
        fields-terminated-by '\t'    指定分隔符