Sqoop是一款开源的工具,主要用于在Hadoop相关存储(HDFS、Hive、HBase)与传统关系数据库(MySql、Oracle等)间进行数据传递工作。Sqoop最早是作为Hadoop的一个第三方模块存在,后来被独立成为了一个Apache项目。除了关系数据库外,对于某些NoSQL数据库,Sqoop也提供了连接器。
一、Sqoop基础知识
Sqoop项目开始于2009年,可以在Hadoop相关存储与传统关系数据库之间进行数据导入导出工作。Sqoop会开启多个MapReduce任务来并行进行数据导入导出工作,提高工作效率。
二.sqoop安装
安装在一台节点上就可以了,我选择在机器hadoop2上安装,在安装前请确保已经搭建了hadoop环境。
1.sqoop下载 :http://www.apache.org/dyn/closer.lua/sqoop/
2. 上传
3. 安装
tar sqoop-1.4.4.bin__hadoop-2.0.4-alpha.tar.gz
4. 配置环境变量