Linux环境Sqoop安装配置及使用

Linux环境Sqoop安装配置及使用

1. 认识Sqoop

(1) Sqoop介绍

• 数据迁移工具(等价于mapreduce的map阶段)
• 过程：数据导入-->处理-->数据导出
• 作用：简化开发
• 官网：http://sqoop.apache.org/
• 概述：Apache Sqoop是一种工具，用于在Apache Hadoop和结构化数据存储（如关系数据库）之间高效传输批量数据——数据迁移。

2. sqoop-1.4.7安装配置流程

(1) Sqoop环境前提：

• Hadoop
• 关系型数据库(MySQL/Oracle)
• HBase
• Hive
• ZooKeeper

(2) 解压sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz安装包到目标目录下：

• tar -zxvf .tar.gz -C 目标目录

(3) 为后续方便，重命名Sqoop文件夹：

• mv sqoop-1.4.7.bin__hadoop-2.6.0/ sqoop-1.4.7

(4) 修改配置文件：

• 进入sqoop-1.4.7/conf路径，重命名配置文件：
  • mv sqoop-env-template.sh sqoop-env.sh
• 修改sqoop-env.sh信息：(若配置了环境变量，可通过echo $XXXXX_HOME查询安装位置)
  • vi sqoop-env.sh

  • #Set path to where bin/hadoop is available
    export HADOOP_COMMON_HOME=Hadoop安装路径
    
    #Set path to where hadoop-*-core.jar is available
    #export HADOOP_MAPRED_HOME=Hadoop安装路径
    
    #set the path to where bin/hbase is available
    #export HBASE