Sqoop的概述与安装

Sqoop的概述与安装

简介

1. Sqoop是连接RDBMS关系型数据库与Hadoop的桥梁，可以将关系型数据库（MySQL、Oracle）中的数据与Hadoop中的（Hbase、Hive）数据相互转换。
2. 可以高效、可控的利用资源，控制任务发生的并发数，配置数据库的访问时间等
   可自动完成数据类型转化与映射
3. 利用MapReduce加快数据的传输速度，使用批处理的方式
   4.导入（import）
   从传统的数据库中读取元数据信息（Schema、table、Field、field type）,把导入功能转化为只有Map 的MapReduce，每个Map获取一块数据，多个数据块并行传输
   导出（export）
   获取导出表的schema、metahdfs信息，和Hadoop中的字段match；多个map only作业同时进行，完成hdfs中数据导出到关系型数据库

安装

官网下载两个包，地址：http://mirror.bit.edu.cn/apache/sqoop/

传输到Linux的目录下

配置环境变量 vi /etc/profile
export SQOOP_HOME=/home/hadoop/sqoop-1.4.7
export PATH=/home/yoodb/mysql/bin:$SQOO{P}_{H}OME/bin:$PATH

sqoop配置修改
进入 /home/hadoop/sqoop-1.4.7/sqoop-1.4.7/conf，复制一份文件并修改
cp sqoop-env-template.sh sqoop-env.sh

添加如下内容

#Set the path for where zookeper config dir is
#export ZOOCFGDIR=
export HADOOP_COMMON_HOME=/home/hadoop/hadoop-2.7.2
export HADOOP_MAPRED_HOME=/home/hadoop/hadoop-2.7.2
export HIVE_HOME=/home/hadoop/hive-2.1.0
export HBASE_HOME=/home/hadoop/hbase-1.2.2

上传mysql驱动包