sqoop导出hive到mysql_Apache Sqoop Hive导出到MySQL

1.目标库MySQL相关参数

1)连接配置

--connect jdbc:oracle:thin:@//10.xx.xx.xxx:1521/orcl

--username bdas

--password xxx

2)表的配置

--table xxx

2.hive参数配置

1)基本配置

--export-dir /user/hive/warehouse/dm.db/t_prc_video_join_count # hive的表在hdfs位置

--columns xxx

2)覆盖更新插入(可选)

--update-key 主键列表

--update-mode allowinsert

3.输入源分隔符与空串解析配置

--input-fields-terminated-by '\001' \

--input-lines-terminated-by '\n' \

--input-null-string "" \

--input-null-non-string "";

4.测试

将上次的users表导入到MySQL的mktest库下的users表中

首先在MySQL中把表建好：

create table mktest.users(name varchar(20),host varchar(20));

首先直接导入看看：

sqoop export \

--connect jdbc:mysql://mycat01:3306/mktest \

--username root \

-password miku \

--table users \

--export-dir /user/hadoop/hive/warehouse/mktest.db/users \

--m 3;

看下数据：

mysql> select * from mktest.users;

+----------------+------+

| name | host |

+----------------+------+

| rootmycat01 | NULL |

| root% | NULL |

| rootlocalhost | NULL |

+----------------+------+

分隔符问题，设置看看(导出默认字段分隔符是\001)

sqoop export \

--connect jdbc:mysql://mycat01:3306/mktest \

--username root \

-password miku \

--table users \

--export-dir /user/hadoop/hive/warehouse/mktest.db/users \

--input-fields-terminated-by '\001' \

--m 3;

OK,现在再来看看结果：

mysql> select * from mktest.users;

+------+-----------+

| name | host |

+------+-----------+

| root | mycat01 |

| root | % |

| root | localhost |

+------+-----------+

完整sqoop shell：

sqoop export \

--connect jdbc:oracle:thin:@//10.xx.xx.xxx:1521/orcl \

--username xxx \

--password xx \

--table T_PRC_VIDEO_JOIN_COUNT \

--export-dir /user/hive/warehouse/dm.db/t_prc_video_join_count \

--columns operate_date,channel_no,channel_name,department_no,department_name,video_join_num,video_refuse_num,video_reject_num,video_pass_num,count_type,create_date,update_date \

--update-key operate_date,channel_no,department_no \

--update-mode allowinsert \

--input-fields-terminated-by '\001' \

--input-lines-terminated-by '\n' \

--input-null-string "" \

--input-null-non-string "";