Sqoop概述

Sqoop安装与概述

1. sqoop概述

• Sqoop官网：http://sqoop.apache.org/

• sqoop介绍

  Sqoop即SQL to Hadoop，是一个将数据在关系数据库（如 MySQL/Oracle 等）和大数据产品（如 Hadoop/Hive/HBase等）之间导入/导出的有效工具，底层是通过MapReduce作业来完成。它充分利用了MapReduce的并行特点,以批处理的方式加快数据的传输，同时也借助MapReduce实现了容错。

• 版本介绍

  最新的稳定版本是1.4.6,Sqoop2的目前的最新版本是1.99.7。1.99.7与1.4.6不兼容，且没有特征不完整，它并不打算用于生产部署。

2. 安装

1. 解压安装包
   到http://sqoop.apache.org/下载sqoop-1.4.6.bin_hadoop-2.0.4-alpha.tar.gz包

2. 上传解压到安装目录
   tar -zxvf sqoop-1.4.6.bin_hadoop-2.0.4-alpha.tar.gz

3. 配置环境变量
   vim /etc/profile
   export SQOOP_HOME=/home/hadoop/sqoop1
   export PATH=$PATH:$SQOOP_HOME/bin
   source /etc/profile

4. 配置sqoop
   在 $SQOOP_HOME/conf下
   mv sqoop-env-template.sh sqoop-env.sh
   vim sqoop-env.sh
   修改sqoop-env.sh配置文件，设置HADOOP_COMMON_HOME,HADOOP_MAPRED_HOME、HIVE_HOME这三个属性，如下
   export HADOOP_COMMON_HOME=/usr/local/hadoop
   export HADOOP_MAPRED_HOME=/usr/local/hadoop
   export HIVE_HOME=/home/hadoop/hive

5. 将MySQL的驱动包复制到如下命令
   cp mysql-connector-java-5.1.38.jar ${SQOOP_HOME}/lib

6. 查看sqoop安装是否成功：
   sqoop help

7. 查看mysql的数据

   sqoop list-databases
   –connect jdbc:mysql://localhost:3306
   –username root
   –password root