超级会员免费看
本文详细介绍了大数据工具Sqoop的使用，包括 Sqoop 的概述、安装配置步骤，以及从 RDBMS 导入导出数据的案例。Sqoop 是用于在 Hadoop 和传统数据库间迁移数据的工具，通过 MapReduce 实现数据传输。文章提供了具体的配置文件修改、JDBC 驱动拷贝、验证 Sqoop 安装的方法。在使用案例中，讲解了如何将 MySQL 和 Oracle 数据库的数据导入到 HDFS、Hive 和 HBase，以及如何导出数据回 RDBMS，包括全量导入、查询导入和增量导入。此外，还涵盖了脚本打包、常用命令及参数的解析。
一、Sqoop 概述
1、Sqoop 简介
Sqoop是一款开源的数据迁移工具，主要用于在 Hadoop（Hive）与传统数据库（Mysql、Oracle...）间进行数据的相互传递，可以将一个关系型数据库（MySQL、Oracle、Postgres 等）中的数据导入到 Hadoop 的 HDFS 中，也可以将 HDFS 的数据导出到关系型数据库中。
Sqoop项目开始于2009年，最早是作为Hadoop的一个第三方模块存在，后来为了让使用者能够快速部署，也为了让开发人员能够更快速的迭代开发，Sqoop独立成为一个Apache项目。
Sqoop2的最新版本是1.99.7。
请注意，2与1不兼容，且特征不完整，它并不打算用于生产部署。
2、Sqoop原理
订阅专栏 解锁全文
扫一扫
943
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
