Sqoop简介及安装教程

Sqoop简介及安装教程

---

Sqoop简介

1. Sqoop是一款在Hadoop和其它关系型数据库之间传递数据的工具。
2. 主要功能：

• 导入数据：Mysql，Oracle等导入数据到Hadoop的HDFS、HIVE、HBASE等数据存储系统；
• 导出数据：从Hadoop的文件系统中导出数据到关系数据库Mysql中

3. Sqoop和Hive的区别：

• Sqoop：迁移数据，把sqoop迁移命令转换成MR程序
• HIVE：执行计算，依赖于HDFS存储数据，把SQL转换成MR程序。

---

Sqoop原理

本质是一个命令行工具，通过shell命令，底层会将命令转换成MaoReduce程序实现，主要针对InputFormat和OutputFormat.

---

Sqoop安装

1. 版本说明
   sqoop1、sqoop2
2. 安装步骤：

• 上传安装包并且解压

/version/sqoop#上传到
tar -zxvf sqoop-1.99.7-bin-hadoop200.tar.gz#解压
mv sqoop-1.99.7-bin-hadoop200 sqoop-1.99.7#重命名

• 修改sqoop配置文件

#配置环境变量
vi /etc/profile
#Sqoop环境
export SQOOP_HOME=/version/sqoop/scoop-1.4.7
export PATH=$PATH:$SQOOP_HOME/bin

source /etc/profile

cd conf/
ls -l
#修改sqoop-env.sh文件（没有此文件，需拷贝sqoop-env-template.sh重命名为sqoop-env.sh）
cp sqoop-env-template.sh sqoop-env.sh

vi sqoop-env.sh
#设置hadoop的环境变量、hive的环境变量
#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=${HADOOP_HOME}
#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=${HADOOP_HOME}
#Set the path to where bin/hive is available
export HIVE_HOME=${HIVE_HOME}

• 将Mysql-Connector驱动放到sqoop安装的lib下面
• 检查sqoop安装是否成功

#列出连接的数据库中的所有数据库
cd /conf
./sqoop list-databases --connect jdbc:mysql://192.168.1.38:3306/ --username root --password 1234

• 注意：Mysql驱动包版本不能过高否则会报时区错误