Sqoop的简单使用案例(第4章)之导出数据

Sqoop的简单使用案例(第4章)之导出数据

---

在Sqoop中，“导出”概念指：从大数据集群（HDFS，HIVE，HBASE）向非大数据集群（RDBMS）中传输数据，叫做：导出，即使用export关键字。

---

4.2.1 HIVE/HDFS到RDBMS

$ bin/sqoop export \
--connect jdbc:mysql://hadoop102:3306/company \
--username root \
--password 000000 \
--table staff \
--num-mappers 1 \
--export-dir /user/hive/warehouse/staff_hive \
--input-fields-terminated-by "\t"

提示：Mysql中如果表不存在，不会自动创建

sqoop export
	-D oozie.job.id=$wf_job_id                                  \
	-D mapred.job.queue.name=$mapred_job_queue_name             \
	--connect $data_db_url                                      \
	--username $data_db_username                                \
	--password $data_db_password                                \
	--table   $target_table                                     \
	--columns ${table_columns}                                  \
	--export-dir ${hdfs_target_dir}                             \
	--update-key ${primary_column}                              \
	--update-mode allowinsert                                   \
	--input-null-string '\\N'                                   \
	--input-null-non-string '\\N'                               \
	--input-fields-terminated-by '\001'                         \
    -m 8