Sqoop是做什么的

Sqoop是什么

Apache Sqoop(TM)是一种旨在有效地在Apache Hadoop和诸如关系数据库等结构化数据存储之间传输大量数据的工具。
Sqoop于2012年3月孵化出来,现在是一个顶级的Apache项目。
最新的稳定版本是1.4.6。Sqoop2的最新版本是1.99.7。请注意,1.99.7与1.4.6不兼容,且没有特征不完整,它并不打算用于生产部署。

Sqoop是用来做什么的

将导入或导出命令翻译成mapreduce程序来实现。
在翻译出的mapreduce中主要是对inputformat和outputformat进行定制。

如何玩转Sqoop

首先要说的是安装sqoop之前必须已经具备了hadoop环境和java环境,因为说到底Sqoop的操作是把MySQL中的数据导出到HDFS中或者hive中,或者从HDFS和hive中导入MySQL中,所以这些基本的条件是必须具备的。
另外hive使用的元数据(metastore)为了能多个hive客户端同时使用也要放在数据库中,hive默认元数据库Derby(嵌入模式)

正题

下载地址:最新版下载地址:http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/
后面就是上传解压什么的就不多说了,直接开始说修改配置文件

1.conf目录下修改这两个文件的名字

mv sqoop-env-template.sh sqoop-env.sh
mv sqoop-site-template.xml sqoop-site.xml

2.修改sqoop-env.sh(配置环境,现在只配目前所需,有几个没配)

export HADOOP_COMMON_HOME=/home/admin/modules/hadoop-2.7.2
export HADOOP_MAPRED_HOME=/home/admin/modules/hadoop-2.7.2
export HIVE_HOME=/home/admin/modules/apache-hive-1.2.2-bin
export ZOOKEEPER_HOME=/home/admin/modules/zookeeper-3.4.5
export ZOOCFGDIR=/home/admin/modules/zookeeper-3.4.5

3把驱动的jar包拷贝到sqoop lib目录下(jdbc驱动)

cp -a mysql-connector-java-5.1.27-bin.jar ~/modules/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/lib/
4.bin/sqoop help:验证sqoop是否配置成功

5.测试Sqoop是否能够成功连接数据库

bin/sqoop list-databases –connect jdbc:mysql://xxx:3306/ –username root –password xxxxxx
成功的标志:
information_schema
metastore
mysql
performance_schema

举例

需求一:从MySQL导入数据到HDFS

mysql> create database company;
mysql> create table company.staff(id int(4) primary key not null auto_increment, name varchar(255), sex varchar(255));
mysql> insert into company.staff(name, sex) values(‘Thomas’, ‘Male’);
mysql> insert into company.staff(name, sex) values(‘Catalina’, ‘FeMale’);
(1)全部导入(在sqoop文件目录下运行,运行的前提是集群已经开了)
bin/sqoop import \
–connect jdbc:mysql://linux01:3306/company \
–username root \
–password 123456 \
–table staff \
–target-dir /user/company \
–delete-target-dir \
–num-mappers 1 \
–fields-terminated-by “\t”
提示:如果query后使用的是双引号,则$CONDITIONS前必须加转移符,防止shell识别为自己的变量。

需求二:MySQL到Hive

bin/sqoop import \
–connect jdbc:mysql://linux01:3306/company \
–username root \
–password 123456 \
–table staff \
–num-mappers 1 \
–hive-import \
–fields-terminated-by “\t” \
–hive-overwrite \
–hive-table staff_hive

以上都是导入下面是导出

需求三:HIVE/HDFS到RDBMS

bin/sqoop export \
–connect jdbc:mysql://linux01:3306/company \
–username root \
–password 123456 \
–table staff \
–num-mappers 1 \
–export-dir /user/hive/warehouse/staff_hive \
–input-fields-terminated-by “\t”
注释一:–num-mappers 1 \ 是指定mappers的数量默认四个,指定一个导入到HDFS或者hive中时,如果mappers是四个则会生成四个文件一条数据一个文件,不超过四个。
注释二:Mysql中如果表不存在,不会自动创建

Sqoop一些常用命令及参数

import:将数据导入到集群
export:将集群数据导出
codegen:获取数据库中某张表数据生成Java并打包Jar
create-hive-table:创建Hive表
eval:查看SQL执行结果
import-all-tables:导入某个数据库下所有表到HDFS中
job:用来生成一个sqoop的任务,生成后,该任务并不执行,除非使用命令执行该任务。
list-databases:列出所有数据库名
list-tables:列出某个数据库下所有表
merge:将HDFS中不同目录下面的数据合在一起,并存放在指定的目录中
metastore:记录sqoop job的元数据信息,如果不启动metastore实例,则默认的元数据存储目录为:~/.sqoop,如果要更改存储目录,可以在配置文件sqoop-site.xml中进行更改。
help:打印sqoop帮助信息
version:打印sqoop版本信息

命令&参数详解

上面列举了一些Sqoop的常用命令,对于不同的命令,有不同的参数,让我们来一一列举说明。

最详细的sqoop命令和参数 请去官网查看http://sqoop.apache.org/

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值