Sqoop

最新推荐文章于 2023-05-09 10:20:51 发布
最新推荐文章于 2023-05-09 10:20:51 发布
阅读量167 收藏
点赞数
分类专栏： hadoop 文章标签： sqoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/li1019865596/article/details/116673067
版权

一 简介 

Sqoop 是一款开源的工具，主要用于在 Hadoop(Hive) 与传统的数据库（ mysql 、 postgresql等）间进行数据的传递。
可以将关系型数据库（ MySQL ,Oracle ,Postgres等）中的数据导入到 HDFS 中，也可以将 HDFS 的数据导进到关系型数据库 中。

 

二 安装

1、下载、上传并解压 将下载的安装包 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 上传到虚拟机中； 解压缩软件包；

tar zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz
mv sqoop-1.4.7.bin__hadoop-2.6.0/ ../servers/sqoop-1.4.7/

2、增加环境变量，并使其生效

vi /etc/profile
# 增加以下内容
export SQOOP_HOME=/opt/servers/sqoop-1.4.7
export PATH=$PATH:$SQOOP_HOME/bin
source /etc/profile

3、创建、修改配置文件

# 配置文件位置 $SQOOP_HOME/conf；要修改的配置文件为 sqoop-env.sh
cp sqoop-env-template.sh sqoop-env.sh
vi sqoop-env.sh
# 在文件最后增加以下内容
export HADOOP_COMMON_HOME=/opt/servers/hadoop-2.9.2
export HADOOP_MAPRED_HOME=/opt/servers/hadoop-2.9.2
export HIVE_HOME=/opt/servers/hive-2.3.7

4、拷贝JDBC驱动程序

cp /opt/lagou/servers/hive-2.3.7/lib/mysql-connector-java5.1.46.jar /opt/lagou/servers/sqoop-1.4.7/lib/

5、拷贝 $HIVE_HOME/lib 下的 hive-common-2.3.7.jar

cp $HIVE_HOME/lib/hive-common-2.3.7.jar $SQOOP_HOME/lib/

6、json-20170516.jar 拷贝

cp $HADOOP_HOME/share/hadoop/tools/lib/json-20170516.jar $SQOOP_HOME/lib/

 验证

sqoop version

三 应用

3.1 案例一 mysql中的某表数据导入到HDFS

（1）数据准备

#创建数据库
CREATE DATABASE sqoop;
use sqoop;
CREATE TABLE sqoop.goodtbl(
gname varchar(50),
serialNumber int,
price int,
stock_number int,
create_time date);

#创建造数据的函数

DROP FUNCTION IF EXISTS `rand_string`;
DROP PROCEDURE IF EXISTS `batchInsertTestData`;
-- 替换语句默认的执行符号，将；替换成 //
DELIMITER //
CREATE FUNCTION `rand_string` (n INT) RETURNS VARCHAR(255)
CHARSET 'utf8'
BEGIN
DECLARE char_str varchar(200) DEFAULT
'0123456789ABCDEFGHIJKLMNOPQRSTUVWXYZ';
DECLARE return_str varchar(255) DEFAULT '';
DECLARE i INT DEFAULT 0;
WHILE i < n DO
SET return_str = concat(return_str,
substring(char_str, FLOOR(1 + RAND()*36), 1));
SET i = i+1;
END WHILE;
RETURN return_str;
END
//
CREATE PROCEDURE `batchInsertTestData` (m INT, n INT)
BEGIN
DECLARE i INT DEFAULT 0;
WHILE i < n DO
insert into goodtbl (gname, serialNumber, price,
stock_number, create_time)
values (rand_string(6), i+m, ROUND(RAND()*100),
FLOOR(RAND()*100), now());
SET i = i+1;
END WHILE;
END
//
delimiter ;

#执行函数
call batchInsertTestData(1,100)

 （2）把数据库表中数据全部导入hdfs

sqoop import \
--connect jdbc:mysql://linux126:3306/sqoop \
--username hive \
--password 12345678 \
--table goodtbl \
--target-dir /sqoop/goodtbl \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t"

（3）把数据库表中数据条件查询导入hdfs


sqoop import \
--connect jdbc:mysql://linux126:3306/sqoop \
--username hive \
--password 12345678 \
--target-dir /sqoop/goodtbl/condition \
--append \
-m 1 \
--fields-terminated-by "\t" \
--query 'select gname, serialNumber, price, stock_number,
create_time from goodtbl where price>88 and $CONDITIONS;'

（4）导入指定的列

sqoop import \
--connect jdbc:mysql://linux126:3306/sqoop \
--username hive \
--password 12345678 \
--target-dir /sqoop/goodtbl/column \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" \
--columns gname,serialNumber,price \
--table goodtbl

 （5）导入查询数据(使用关键字)

sqoop import \
--connect jdbc:mysql://linux126:3306/sqoop \
--username hive \
--password 12345678 \
--target-dir /sqoop/goodtbl/where \
--delete-target-dir \
-m 1 \
--fields-terminated-by "\t" \
--table goodtbl \
--where "price>=68"

启动多个Map Task导入数据

sqoop import \
-Dorg.apache.sqoop.splitter.allow_text_splitter=true \
--connect jdbc:mysql://linux126:3306/sqoop \
--username hive \
--password 12345678 \
--target-dir /sqoop/goodtbl/split \
--delete-target-dir \
--fields-terminated-by "\t" \
--table goodtbl \
--split-by gname

3.2 案例二MySQL 到 Hive

sqoop import \
--connect jdbc:mysql://linux126:3306/sqoop \
--username hive \
--password 12345678 \
--table goodtbl \
--hive-import \
--create-hive-table \
--fields-terminated-by "\t" \
--hive-overwrite \
--hive-table mydb.goodtbl \
-m 1



参数说明：
hive-import。必须参数，指定导入hive
hive-database。Hive库名(缺省值default)
hive-table。Hive表名
fields-terminated-by。Hive字段分隔符
hive-overwrite。覆盖中已经存在的数据
create-hive-table。创建好 hive 表，但是表可能存在错误。不建议使用这个参
数，建议提前建好表

3.3 导出数据

hive->mysql

sqoop export \
--connect jdbc:mysql://linux126:3306/sqoop \
--username hive \
--password 12345678 \
--table goodtbl2 \
--num-mappers 1 \
--export-dir /user/hive/warehouse/mydb.db/goodtbl \
--input-fields-terminated-by "\t"

手动 增量更新

call batchInsertTestData(200, 600);

sqoop import \
--connect jdbc:mysql://linux126:3306/sqoop \
--username hive --password 12345678 \
--table goodtbl \
--incremental append \
--hive-import \
--fields-terminated-by "\t" \
--hive-table mydb.goodtbl \
--check-column serialNumber \
--last-value 100 \
-m 1

job 增量更新

 echo -n "12345678" > sqoopPWD.pwd
 hdfs dfs -mkdir -p /sqoop/pwd
 hdfs dfs -put sqoopPWD.pwd /sqoop/pwd
 hdfs dfs -chmod 400 /sqoop/pwd/sqoopPWD.pwd


sqoop job --create myjob1 -- import \
--connect jdbc:mysql://linux126:3306/sqoop?useSSL=false \
--username hive \
--password-file /sqoop/pwd/sqoopPWD.pwd \
--table goodtbl \
--incremental append \
--hive-import \
--hive-table mydb.goodtbl \
--check-column serialNumber \
--last-value 0 \
-m 1

查看job
sqoop job --list
sqoop job --show myjob1

执行job
sqoop job --exec myjob1

删除job
sqoop job --delete myjob1

 

注：以上为本人小小总结，如果对您起到了一点点帮助，请给予我一点鼓励，在下方点个小小的赞，谢谢，如有错误之处，望不吝指出，非常感谢！ 

痴迷的小小工匠
关注
专栏目录
sqoop
leezsj的博客
07-26 868
sqoop 产生背景 基于传统关系型数据库的稳定性，还是有很多企业将数据存储在关系型数据库中，早期由于工具的缺乏，hadoop与传统数据库之间的数据传输非常的困难，基于前两个方面的考虑，需要一个在传统关系型数据库 和hadoop之间进行数据传输的项目，sqoop应运而生 sqoop是什么 sqoop是一个用于hadoop和结构化存储（如关系型数据库之间进行高效传输大批量数据的工具，他包括两个方面， ​ 可以用sqoop将数据从关系型数据库管理系统如mysql导入到hadoop系统（hdfs，hiv
sqoop 基本命令 及例子
sunbin11220904的博客
09-05 188
全量抽取customer表 sqoop import \ --connect jdbc:mysql://localhost:3306/sales_source \ --driver com.mysql.jdbc.Driver \ --username root \ --password ok \ --table customer \ --hive-import \ --hive-table sales_rds.customer \ --hive-overwrite \ --target-dir tmp \
Sqoop 从入门到精通
热门推荐
桃李不言下自成蹊
04-27 6万+
Sqoop是Hadoop和关系数据库服务器之间传送数据的一种工具。它是用来从关系数据库如：MySQL，Oracle到Hadoop的HDFS，并从Hadoop的文件系统导出数据到关系数据库。传统的应用管理系统，也就是与关系型数据库的使用RDBMS应用程序的交互，是产生大数据的来源之一。这样大的数据，由关系数据库生成的，存储在关系数据库结构关系数据库服务器。
Sqoop学习
xixihaha_coder的博客
11-13 1904
Sqoop的简介 产生背景 基于传统关系型数据库的稳定性，还是有很多企业将数据存储在关系型数据库中; 早期由于工具的缺乏，Hadoop与传统数据库之间的数据传输非常困滩。 基于前两个方面的考虑，需要一个在传统关系型数据库和Hadoop之间 进行数据传输的项目,Sqoop应运而生。 Sqoop是什么 Sqoop是一个用于Hadoop和结构化数据存储(如关系型数据库）之间进行高效传输大批量数据的工具。它包括以下两个方面;可以使用Sqoop将数据从关系型数据库管理系统(如MySQL)导入到Hadoop系
4、Sqoop job
alanchanchn的专栏
05-09 5万+
sqoop在创建job时，使用–password-file参数，可以避免输入mysql密码，如果使用–password将出现警告，并且每次都要手动输入密码才能执行job，sqoop规定密码文件必须存放在HDFS上，并且权限必须是400。sqoop job可以将执行的语句（导入导出工作）变成一个job，在需要的时候执行。下面的命令用来验证保存Sqoop作业的列表。下面的命令用于创建一个从DB数据库的person表导入到HDFS文件的作业。比较简单，不再详细赘述。以上，简单的介绍了sqoop的作业使用。
Sqoop搭建
ZZJXP的博客
04-18 2313
Flume:适用于日志文件实时采集 Sqoop:适用于能与大数据集群直接通信的关系型数据库间的大批量数据传输 DataX(异构数据源离线同步工具):在异构数据库/文件系统之间高速交换数据 Kettle:图形化界面 [root@master packages]# cd .. [root@master soft]# ls 0?? jdk1.8.0_171 shell01 A?? packages show data ..
2、sqoop导入（RMDB-mysql、sybase到HDFS-hive）
05-29
Apache Sqoop 是一个用于在关系型数据库（如 MySQL 和 Sybase）与 Hadoop 分布式文件系统（HDFS）之间高效传输数据的工具。在大数据处理中，Sqoop 提供了方便的数据导入和导出功能，它能够将结构化的数据从传统...
sqoop-1.4.6.bin-hadoop-2.0.4-alpha版本的压缩包，直接下载到本地，解压后即可使用
最新发布
07-02
Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，...
docker-sqoop:Apache Sqoop Docker映像
04-29
Apache Sqoop Docker映像 注意：这是master分支-对于特定的Sqoop版本，请始终检查相关分支 用法 运行时，您必须在卷中提供JDBC jar： docker run -v /path/to/jdbc-jars:/jdbc -it dvoros/sqoop:latest MySQL导入...
大数据技术基础实验报告-sqoop的安装配置与应用.doc
08-21
【大数据技术基础实验报告——Sqoop的安装配置与应用】 Sqoop是一款用于在Apache Hadoop和关系型数据库之间传输数据的工具，它简化了大量数据的导入导出过程。本实验报告将详细介绍如何安装配置Sqoop以及如何使用...
Hive调优策略
li1019865596的博客
08-14 786
Hive作为大数据领域常用的数据仓库组件，在设计和开发阶段需要注意效率。 影响Hive效率的不仅仅是数据量过大；数据倾斜、数据冗余、job或I/O过多、MapReduce分配不合理等因素都对Hive的效率有影响。 对Hive的调优既包含对HiveQL语句本身的优化，也包含Hive配置项和MR方面的调整。 从以下三个方面展开： 架构优化 参数优化 SQL优化 一、架构优化 1.1执行引擎 Hive支持多种执行引擎，分别是 MapReduce、Tez、Spark、Flink。可以通过hive..
Hive(2)——使用总结
li1019865596的博客
05-08 777
一、入门须知 1.1 hive命令 linux查看 hive -help; 查询 hive -e "select * from users"; 使用hive命令 sql语句编写： select '1.0' + 2; select '111' >1; select cast('111' as int ); select arr[0] from ( select array(1,2) arr) tmp; 执行脚本中sql语句 -f：执行脚本中sql语句 # 创建文件h
MapReduce(2)——编程实战
li1019865596的博客
07-04 541
MapReduce编程须知 map()方法是对输入的一个KV对调用一次！！ Reduce()方法是对相同K的一组KV对 调用执行一次 一、WordCount统计功能 1.1 需求 1.2 思路梳理 Map阶段： 1. map()方法中把传入的数据转为String类型 2. 根据空格切分出单词 3. 输出<单词，1> Reduce阶段： 1. 汇总各个key(单词)的个数，遍历value数据进行累加 2. 输出key的总数 ...
HDFS(1)(2)——解读上传、下载（读写）、元数据管理原理
li1019865596的博客
06-27 528
一、HDFS上传和下载流程图讲解 1.1 HDFS读数据流程 1. 客户端通过Distributed FileSystem向NameNode请求下载文件，NameNode通过查询元数据，找到文件块所在的DataNode地址（块信息和块存储的节点信息）。 2. 向DataNode（就近原则，然后随机）服务器发送请求读取数据。 3. DataNode开始传输数据给客户端（从磁盘里面读取数据输入流，以Packet为单位来做校验）。 4. 客户端以Packet为单位接收，先在本地缓存，然后写入目标文
impala(2)——使用总结
li1019865596的博客
05-15 490
使⽤Yum⽅式安装Impala后，impala-shell可以全局使⽤；进⼊impala-shell命令⾏ impala-shell进⼊到impala的交互窗⼝ impala-shell mkdir -p /home/impala/data vim user.csv 392456197008193000,张三,20,0 267456198006210000,李四,25,1 892456199007203000,王五,24,1 492456198712198000,赵六,26,2 3924
Flume-实战
li1019865596的博客
07-13 389
Flume由Cloudera公司开发，是一个分布式、高可靠、高可用的海量日志采集、聚 合、传输的系统。 Flume支持在日志系统中定制各类数据发送方，用于采集数据； Flume提供对数据进行简单处理，并写到各种数据接收方的能力。 简单的说，Flume是实时采集日志的数据采集引擎。 Flume有3个重要组件：Source、Channel、Sink 特点： 分布式：flume分布式集群部署，扩展性好 可靠性好: 当节点出现故障时，日志能够被传送到其...
redis(3)(2)——Cluster分区与集群
li1019865596的博客
06-20 368
分区 分区是将数据分布在多个Redis实例（Redis主机）上，以至于每个实例只包含一部分数据 分区的意义
Apache Sqoop详解与安装指南
"Apache Sqoop是用于在Hadoop和关系型数据库管理系统(RDBMS)之间传输数据的工具。它通过将导入或导出命令转化为MapReduce任务来实现数据的迁移。Sqoop支持多种RDBMS，如MySQL、Oracle、DB2等，以及Hadoop生态系统的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值