Sqoop应用

最新推荐文章于 2024-06-19 20:47:47 发布

ho_ll_ow

最新推荐文章于 2024-06-19 20:47:47 发布

阅读量355

点赞数

文章标签： hadoop sqoop

本文链接：https://blog.csdn.net/ho_ll_ow/article/details/102640281

版权

Sqoop是一款用于在Hadoop和传统数据库间进行数据传输的工具，简化了DB与HDFS之间的导入导出操作。通过Sqoop，用户可以将关系型数据库的数据导入HDFS，或将HDFS数据导出到数据库，无需编写MR程序。本文介绍了Sqoop1的基本使用，包括全表和条件导入、Hive加载以及HDFS数据导回MySQL的示例。

摘要由CSDN通过智能技术生成

Sqoop 是Apache下一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传输，可以实现关系型数据库（例如： MySQL ,Oracle ,Postgres等）与Hadoop的HDFS之间数据互相导入、导出。

概括起来：该层充当“搬运工”的角色，主要做两件事
1：负责外部数据（多是关系型库数据）导入到分布式文件系统（HDFS）；
2：将大数据分析后的结果（HDFS）进行导出至关系型数据库表中。

在这里插入图片描述

Sqoop作为数据导入导出工具，只需要作为客户端在一台服务器上安装即可。

Sqoop命令接口接收客户端导入导出指令—>任务转化器负责将客户端指令转化为MR任务并进行优化，提交Yarn上运行，并进行监控—>MR任务负责DB和HDFS之间数据读写。

可见：Sqoop使得用户从MR编程中解脱出来，降低了实现DB与HDFS数据导入导出的难度，一切交由Sqoop代劳。

1：Sqoop目前有Sqoop1（sqoop1.4.X）和Sqoop2(sqoop 1.99.X) 两个版本，如图：
在这里插入图片描述

Sqoop1安装配置和使用：
解压、重命名安装包：
tar -zxvf sqoop-1.4.6-cdh5.5.2.tar.gz
mv sqoop-1.4.6-cdh5.5.2 sqoop

配置环境变量：
vi etc/profile
在这里插入图片描述

保存配置：source /etc/profile

配置sqoop-env.sh
cd /opt/mysoft/sqoop/conf
mv sqoop-env-template.sh sqoop-env.sh
vi sqoop-env.sh
在这里插入图片描述
拷贝Mysql jar包到sqoop/lib

Mysql导入到HDFS:
导入全表：
sqoop import --connect jdbc:mysql://192.168.110.6:3306/pingdingshan --username root --password root --target-dir hd

最低0.47元/天解锁文章

ho_ll_ow

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
Sqoop应用

Sqoop 是Apache下一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传输，可以实现关系型数据库（例如： MySQL ,Oracle ,Postgres等）与Hadoop的HDFS之间数据互相导入、导出。概括起来：该层充当“搬运工”的角色，主要做两件事1：负责外部数据（多是关系型库数据）导入到分布式文件系统（HDFS）；...
复制链接

扫一扫