【sqoop】导入导出文件配置

最新推荐文章于 2024-05-02 11:45:52 发布

脸太黑黑黑

最新推荐文章于 2024-05-02 11:45:52 发布

阅读量170

点赞数

分类专栏： # 【sqoop】基础巩固文章标签： sqoop hdfs mysql jdbc 数据库

本文链接：https://blog.csdn.net/qq_41577527/article/details/104883328

版权

基础巩固同时被 2 个专栏收录

4 篇文章 0 订阅

订阅专栏

【sqoop】

1 篇文章 0 订阅

订阅专栏

本文详细介绍如何使用sqoop工具进行数据迁移，包括从mysql数据库全量导入数据至HDFS，以及通过查询方式导入特定数据。同时，也讲解了如何将HDFS上的数据导出至mysql数据库，涉及参数配置及命令行操作。

摘要由CSDN通过智能技术生成

sqoop导入数据配置

从mysql导入到hdfs

全量导入：

$ bin/sqoop import \
--connect jdbc:mysql://10.190.xx.xx:3306/${db_name} \
--username ${username} \
--password ${password} \
--table ${table_name} \
--target-dir /${target_file_path} \
--delete-target-dir \
--num-mappers ${int_num} \
--fields-terminated-by "\t"

查询导入：

$ bin/sqoop import \
--connect jdbc:mysql://10.190.xx.xx:3306/${db_name} \
--username ${username} \
--password ${password} \
--target-dir /${target_file_path} \
--delete-target-dir \
--num-mappers ${int_num} \
--fields-terminated-by "\t" \
--query 'select name,sex from persion where id <=1 and $CONDITIONS;'

从hdfs导出到mysql

$ bin/sqoop export \
--connect "jdbc:mysql://10.190.xx.xx:3306/${db_name}?useUnicode=true&characterEncoding=utf-8"  \
--username ${username} \
--password ${password} \
--table ${table_name} \
--num-mappers ${int_num} \
--export-dir /warehouse/$db_name/ads/$1 \
--input-fields-terminated-by "\t" \
--update-mode allowinsert \
--update-key "tm_id,category1_id,stat_mn,stat_date" \
--input-null-string '\\N'    \
--input-null-non-string '\\N'