ETL工具Sqoop的入门学习(一）

1.Sqoop的定义

Sqoop是一款开源的ETL工具，其主要用户将Hadoop与关系型数据库之间的数据传递。可以将关系型数据库中的数据传递到Hadoop的Hdfs，hive，hbase上，同时也能将Hadoop上的数据抽取到各种类型的关系型数据库中。

2.Sqoop的产生背景简介

由于很多的企业数据大多是存在关系型数据库中的，当这些企业要使用大数据技术对这些数据进行分析提高数据的价值，从而产生更大的利益，此时要将关系型数据库中的数据抽取到大数据环境中进行处理分析问题，产生了数据如何安全快速抽取的问题。Sqoop的发展解决了关系型数据库数据抽取到大数据环境（Hadoop）中的问题。

3.Sqoop原理

简单的来说，Sqoop将导入或导出的命令翻译成Mapreduce的程序来执行的任务。
1，将命令翻译成MapReduce程序
2，将MapReduce程序编译成jar
3，提交任务执行jar

4.几个Sqoop常用的命令使用

4.1 环境的介绍

Sqoop使用的版本是1.4.7的，运行环境在centOS7搭建的Hadoop环境下。
Sqoop1.4.7安装包官网下载：Sqoop1.4.7官网下载
这里我使用Sqoop将本地Windows下安装的MySQL数据库中的表抽取到Hadoop的分布式文件系统，同时将hdfs上的数据抽取到MySQL数据库。

4.2 常用命令的使用list-databases，list-tables，import，export

序号	命令	说明
1	list-databases	列出所连接的所有数据库名
2	list-tables	列出某个数据库下的所有表
3	import	将数据导入数据到集群
4	export	将集群中数据导出

1，list-databases

sqoop list-databases --connect jdbc:mysql://IP:3306 --username root --password 123456

需要注意的是IP是本地电脑的IP，同时将本地MySQL服务开启。

2,list-tables

 sqoop list-tables --connect jdbc:mysql://IP:3306/study --username root --password 1234567

这里需要注意指定连接的数据库才能找到它下面的所有表

3，import
将本地MySQL Study数据库中User_info表上传到指定的分布式文件系统的目录，需要注意执行命令要开启分布式文件系统。

sqoop import --connect jdbc:mysql://IP:3306/study --username root --password 1234567 --table user_info --target-dir /sqoop-test

–table指定表
–target-dir 指定上传到hdfs的目录下
这是我们本地MySQL Study数据库中User_info表信息

任务执行成功

查看上传到hdfs上的数据，和我们上传的一样，4条数据都上传成功

4，export
将hdfs上指定的文件抽取到MySQL数据库中，需要注意之前要在数据库中创建好一张表来存储导入的数据，这里我创建了user_info_01表来演示。

 sqoop export --connect jdbc:mysql://IP:3306/study --username root --password 1234567 --table user_info_01 --export-dir /sqoop-test

–table MySQL数据库中的表，执行命令之前要创建好
–export-dir 指定分布式文件系统目录下的数据抽取到MySQL数据库
在没抽取数据到user_info_01时，表结构以及存在一条数据信息如图。

执行任务成功

导入数据到MySQL数据库表中完成，刷新user_info_01表查看哈我们的数据，OK是没问题的，数据都追加到我们的表中的。

都看到这儿了，点赞再走呗🤞🤞🤞🤞