Sqoop简易知识

前言

： sqoop 是 Apache 提供的工具

简介

：传统的应用程序管理系统，即应用程序与使用RDBMS的关系数据库的交互，是产生大数据的来源之一，有RDBMS（数据库一类）生成的这种大数据存储在关系数据库结构中的关系数据库服务器中；

：当大数据存储和Hadoop生态系统的 MapReduce，Hive，HBase，Cassandra,Pig等分析器出现时，他们需要一种工具来与关系数据库服务器进行交互，以导入和导出驻留在其中的大数据，在这里，Sqoop 在 Hadoop 生态系统中占据一席之地，以便在关系数据库服务器和Hadoop 的HDFS 之间提供可行的交互；

：用于hdfs和关系型数据库之间的导出和导入，也可从hdfs导出到关系型数据库，也可以从关系行数据库导入数据到hdfs；

功能
： Sqoop 是一个用于在 Hadoop 和 关系数据库服务器之间传输数据的工具，他用于从关系数据库（如 Mysql，Oracle）导入到Hadoop HDFS，并从 Hadoop 文件系统导出到关系数据库。它由Apache 软件基金会提供；

工作原理
：RDBMS(mysql,Oracle,Poatgresql)通过 Sqool Tool工具中的 import 将数据导入到 Hadoop File System（HDFS,Hive，HBase）；
：Hadoop File System（HDFS,Hive，HBase）通过 Sqoop Tool 工具中的 Export 导出到RDBMS(mysql,Oracle,Poatgresql)；

安装步骤

1.准备 sqoop 安装包；
2.配置jdk环境和Hadoop的环境变量。
3.解压 sqoop 安装包
4.将要连接的数据库的驱动包加入sqoop的lib目录下
5.利用指令操作sqoop

注意：如果你发现使用 tar -zvxf 解压命令时，系统报错说你没有这个命令，你可以去掉命令中的 - 也就是使用 --》tar zvxf

基础指令

		sh sqoop llist-databases
		 --connect jdbc:mysql://hadoop01:3306/
		   -username root -password root
                     							---	查看mysql所有数据库
        sh sqoop list-tables
         --connect jdbc:mysql://hadoop01:3306/hive
          -username root -password root
     										    --- 查看指定数据库下的所有表