用sqoop从Mysql多表/单表导入hdfs命令

最新推荐文章于 2024-04-12 23:10:58 发布

海鸥~

最新推荐文章于 2024-04-12 23:10:58 发布

阅读量5k

点赞数

分类专栏： # sqoop 文章标签： sqoop hdfs mysql 数据库大数据

此文章为海鸥女生原著，转载请留言，并声明出处。

本文链接：https://blog.csdn.net/Charlie_jun/article/details/106907343

版权

本文主要介绍了如何使用sqoop命令从Mysql数据库进行单表和多表的全量数据导入到HDFS的操作，包括具体的sqoop脚本示例，并提到了数据抽取的全量和增量抽取概念。

摘要由CSDN通过智能技术生成

一、 sqoop命令从Mysql单表导入hdfs命令

bin/sqoop import \
--connect jdbc:mysql://10.160.000.117:3306/big_data \
--m 1 \
--username mysql \
--password minmin@123 \
--table t_fgw_qt_lhszzxx \
--target-dir  /big/PHJR/phjr_data/t_big_qt_lhszzxx \
--as-textfile \
--fields-terminated-by "," \
--lines-terminated-by "\n"  \
--compression-codec com.hadoop.compression.lzo.LzopCodec \
--autoreset-to-one-mapper \
--outdir /opt/sqoop_phjr

       --compression-codec com.hadoop.compression.lzo.LzopCodec     使用lzo压缩
       --autoreset-to-one-mapper     没有主键则是以一个map
       --outdir /opt/sqoop_phjr      自定义映射的java文件位置

二、 sqoop命令从Mysql多表全量导入hdfs命令

用sqoop导入mysql
sqoop-import-all-tables \
--connect jdbc:mysql://10.100.000.117:3306/big_data \
--username mysql \
--password Admin@124 \
--as-textfile \
--warehouse-dir /smxaq/big/big_data/  \
--m 6 \
--field