【大数据】— sqoop ?

最新推荐文章于 2024-10-11 20:17:53 发布

csdn3993023

最新推荐文章于 2024-10-11 20:17:53 发布

阅读量87

点赞数

本文介绍了 Sqoop，一款用于在 Hadoop 和传统 RDBMS 间进行数据传输的开源工具。Sqoop 封装了 Hadoop 的导入与导出功能，并通过 MapReduce 实现数据在 HDFS 与关系型数据库之间的双向传输。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

介绍

sqoop(SQL to Hadoop),是一款开源工具,主要用于在Hadoop()与传统的RDBMS(MySQL SQLServer Oracle)进行的数据传递,sqoop主要是封装了Hadoop的导入与导出,底层通过MapReduce的MapTask把关系型数据库的数据导入到HDFS中,同样也是用过MapTask把HDFS的数据导入到关系型数据库中,起着一个桥梁作用。

sqoop的版本

sqoop是Apache软件基金会提供的开源框架。官方网站参考：http://sqoop.apache.org

主要为sqoop1.x与sqoop2.x;目前主要主1.4.6为主 2.x变化大使用少;

基本使用

通过sqoop，你可以从关系型数据库中导出数据，导入到hdfs中。输入命令可能查询数据库的一个库或者一张表查询结果;输出则是数据库表或者结果的导出文件集合。导入进程是并行的(默认4个mr)，因此输出的结果可能是多个文件（最终在hdfs中可能会得到多个文件）。这些文件可能是标准的文本文件TextFile（比如,使用逗号或者/t做字段间的分割可以指定分割参数）。

sqoop的导入进程是一个自动生成出来的java class，因此它的很多组件都可以自定义，比如导入的格式压缩、文本的格式、导出的格式等等。

安装部署方式及参数详细使用参考下一篇博客.............

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/31441024/viewspace-2155940/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/31441024/viewspace-2155940/