怎么掌握大数据技术 Sqoop的用途都有哪些

　　怎么掌握大数据技术，Sqoop的用途都有哪些？随着学习的深入，在学完Java基础知识、Linux、MySQL数据库知识之后，郑州大数据培训教程中会接着讲解Hadoop相关知识，其中包括Sqoop工具。下面就给大家详细的分析一下Sqoop的用途，工作流程及相关语法。

　　Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。Sqoop通过Hadoop的MapReduce导入导出，因此提供了很高的并行性能以及良好的容错性。

　　Sqoop分为两个版本：sqoop1与sqoop2，Sqoop2是由服务器端与客户端组合在一起使用的，类似于Hiverserver2 与beeline之间的关系。由于sqoop2属于跨节点，所以传输性能，与稳定性都比较差，所以推荐使用sqoop1。

　　Sqoop的框架功能：Sqoop的底层使用mapreduce实现的，但是只用到了map阶段，没有用到reduce阶段，由于使用mapredue，可以把海量的数据高效的传输。

　　Sqoop的工作流程主要分为两大部分：导入和导出。

　　Sqoop导入：通过Sqoop，你可以从关系型数据库中导出数据，导入到hdfs中。输入可能是数据库的一张表或者查询结果;表中的每一行都被视为HDFS中的记录。所有记录都以文本文件的形式存储在文本文件中或作为Avro和Sequence文件中的二进制数据存储。

　　Sqoop导出：导出工具将一组文件从HDFS导出回RDBMS。由于导入进程是并行的，因此输出的结果可能是多个文件。这些文件可能是标准的文本文件TextFile(比如，使用逗号做字段间的分割)，也可能是Avro或者SequeenceFiles的记录文件。

　　Sqoop的基本命令不少，你可以使用sqoop help来查看，sqoop支持哪些命令。如果不知道使用方式，可以使用 sqoop command的方式来查看某条具体命令的使用方式。