sqoop+使用mysql_sqoop使用

sqoop 是进出hadoop的重要工具。 用sqoop从RDBMS中导入数据 sqoop import \ -D oozie.job.id=$wf_job_id \ -- 自定义参数 oozie 相关 -D mapred.job.queue.name=$mapred_job_queue_name \ -- 自定义参数 oozie 相关 --connect $data_db_url \ --RDMS jdbc地

sqoop 是进出hadoop的重要工具。

用sqoop从RDBMS中导入数据

sqoop import \

-D oozie.job.id=$wf_job_id \ -- 自定义参数 oozie 相关

-D mapred.job.queue.name=$mapred_job_queue_name \ -- 自定义参数 oozie 相关

--connect $data_db_url \ --RDMS jdbc地址

--username $data_db_username \ -RDBMS用户名

--password $data_db_password \ -RDBMS密码

--table $db_table \ -- RDBMS 表名

--columns $db_columns \ --导入字段，及其顺序

--verbose \

--target-dir $hdfs_target_dir \ ---HDFS目标文件夹

--fields-terminated-by '\001' \ ---字段分隔字符

--lines-terminated-by '\n' \ --- 行分隔字符

--hive-table $data_db_name.$hive_table \ --- hive表名

-m $parallel_count \ ---使用并发

--hive-import \ -- 使用hive开关

--hive-overwrite \ -- 是否覆盖写

--null-string '\\N' \ --空字段表示

--null-non-string '\\N' \

--hive-drop-import-delims

用sqoop 从 hadoop向RDBMS推送数据

使用 insert overwrite directory OOOO select * from XXXX; 将表XXXX 转换格式并导入HDFS中，准备推送

sqoop export \

-D oozie.job.id=$wf_job_id \

-D mapred.job.queue.name=$mapred_job_queue_name \

-D mapred.task.timeout=0 \

--connect $data_db_url \

--username $data_db_username \

--password $data_db_password \

--table ${table_name}_insert \

--export-dir $insert_dir \ --目标文件夹

--columns $db_columns \ --输出字段顺序(用于数据对其，非常重要)

--input-null-string '\\N' \

--input-null-non-string '\\N' \

--input-fields-terminated-by '\001' \ -- 字段隔离符号

-m ${parallel_count} \ 并发数量

本文原创发布php中文网，转载请注明出处，感谢您的尊重！