Sqoop理论知识：介绍-产生背景-架构-数据导入导出流程

不待见@DXY

已于 2022-04-05 23:07:15 修改

阅读量2.5k

点赞数 3

分类专栏： Sqoop 文章标签： sqoop 大数据

于 2022-04-05 23:06:14 首次发布

本文链接：https://blog.csdn.net/weixin_49334432/article/details/123978829

版权

Sqoop 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

文章目录

一、简介
二、产生背景
三、架构
四、数据导入过程
五、数据导出过程

一、简介

Sqoop是一个数据迁移工具。是一个MapReduce的代码框架。
可以实现 数据在 关系型数据库 和 Hadoop 之间的相互 导入和导出。

二、产生背景

对于 关系型数据库 和 Hadoop（HDFS/Hive/HBase） 之间的数据传递，
我们通常的解决方案是： 根据不同的需求来编写MapReduce来完成。
但是这种方案存在明显的局限性：我们每次都需要编写MR，学习成本高，使用也不方便。
于是诞生了一种MR的代码框架，即Sqoop。有了它以后，我们无需再编写MapReduce代码，只需要简单地配置脚本即可。

三、架构

在这里插入图片描述
架构特点：
工作模式角度：基于客户端，仅需一台机器就能完成。
MR角度：Sqoop只需要提交一个Map任务，数据的传输和转换依靠Mapper，不需要Reduce；执行过程可以通过Yarn来监控。
安全角度：执行时需要显示指定用户名和密码；也可以通过配置文件来指定。安全性不高。