sqoop简介

Sqoop简介以及使用

Sqoop是什么

Sqoop是一个用于Hadoop和结构化数据存储（如关系型数据库）之间进行高效传输大批量数据的工具。它包括以下两个方面：
​ 可以使用Sqoop将数据从关系型数据库管理系统(如MySql)导入到Hadoop系统(如HDFS、Hive、HBase)中将数据从Hadoop系统中抽取并导出到关系型数据库(如MySql)

底层实现原理

​ Sqoop的核心设计思想是利用MapReduce加快数据传输速度。也就是说Sqoop的导入和导出功能是通过基于Map Task（只有map）的MapReduce作业实现的。所以它是一种批处理方式进行数据传输，难以实现实时的数据进行导入和导出。

---

官网介绍：
Apache Sqoop(TM) is a tool designed for efficiently transferring bulk
data between Apache Hadoop and structured datastores such as relational databases.

Sqoop结构图:

特点

• 优点：它可以将跨平台的数据进行整合。
• 缺点：它不是很灵活。

主要执行操作

Mysql-->HDFS:import
Mysql-->Hive:import
Mysql-->HBase:import
HDFS-->Mysql:export
Hive-->Mysql:export

---

Sqoop的重要的几个关键词

• ==import== ： 从关系型数据库到Hadoop
• ==export== ： 从Hadoop到关系型数据库。

更多大数据精彩内容欢迎B站搜索“千锋教育”或者扫码领取全套资料     

【千锋教育】大数据开发全套教程，史上最全面的大数据学习视频