Sqoop的概述与安装
简介
- Sqoop是连接RDBMS关系型数据库与Hadoop的桥梁,可以将关系型数据库(MySQL、Oracle)中的数据与Hadoop中的(Hbase、Hive)数据相互转换。
- 可以高效、可控的利用资源,控制任务发生的并发数,配置数据库的访问时间等
可自动完成数据类型转化与映射 - 利用MapReduce加快数据的传输速度,使用批处理的方式
4.导入(import)
从传统的数据库中读取元数据信息(Schema、table、Field、field type),把导入功能转化为只有Map 的MapReduce,每个Map获取一块数据,多个数据块并行传输
导出(export)
获取导出表的schema、metahdfs信息,和Hadoop中的字段match;多个map only作业同时进行,完成hdfs中数据导出到关系型数据库
安装
官网下载两个包,地址:http://mirror.bit.edu.cn/apache/sqoop/
传输到Linux的目录下
配置环境变量 vi /etc/profile
export SQOOP_HOME=/home/hadoop/sqoop-1.4.7
export PATH=/home/yoodb/mysql/bin:
S
Q
O
O
P
H
O
M
E
/
b
i
n
:
SQOOP_HOME/bin:
SQOOPHOME/bin:PATH
sqoop配置修改
进入 /home/hadoop/sqoop-1.4.7/sqoop-1.4.7/conf,复制一份文件并修改
cp sqoop-env-template.sh sqoop-env.sh
添加如下内容
#Set the path for where zookeper config dir is
#export ZOOCFGDIR=
export HADOOP_COMMON_HOME=/home/hadoop/hadoop-2.7.2
export HADOOP_MAPRED_HOME=/home/hadoop/hadoop-2.7.2
export HIVE_HOME=/home/hadoop/hive-2.1.0
export HBASE_HOME=/home/hadoop/hbase-1.2.2
上传mysql驱动包