Sqoop安装配置

一.Sqoop简介

1. Sqoop是一个用于在Hadoop和关系型数据库之间传输数据的工具
   • 将数据从RDBMS导入到HDFS
     HDFS, Hive, Hbase
   • 从HDFS导出数据到RDBMS
   • 使用MapReduce导入和导出数据,提供并行操作和容错

二.Sqoop安装前提条件

安装 Sqoop 的前提是已经具备 Java 和 Hadoop、Hive、ZooKeeper、HBase 的 环境.

三.Sqoop安装

1. 下载安装包
   安装包下载链接:https://pan.baidu.com/s/1pJO_8qzHq_ta8NDJlFr5mw
   提取码：1234

2. 将安装包上传至Linux系统 /opt目录下

3. 解压并改名

tar -zxvf sqoop-1.4.6-cdh5.14.2.tar.gz

mv sqoop-1.4.6-cdh5.14.2 sqoop

四.修改配置文件

1. 重命名配置文件

cd /opt/sqoop/conf

mv sqoop-env-template.sh sqoop-env.sh

2. 修改配置文件

vi sqoop-env.sh

3. 注释掉警告信息

vi /opt/sqoop/bin/configure-sqoop

4. 拷贝 jdbc 驱动(在/opt/hive/lib目录下)到 Sqoop 的 lib 目录下

cp /opt/hive/lib/mysql-connector-java-5.1.38.jar /opt/sqoop/lib

5. 验证Sqoop

cd /opt/sqoop/bin

sqoop version

sqoop help

6. 测试sqoop是否能够连接到数据库

bin/sqoop list-databases \
--connect jdbc:mysql://hadoop010(主机名,因人而异):3306/ \
--username root \
--password ok

出现上图数据库则表示连接成功! ! !