慌了！ Apache Sqoop正式退役？

意外发现

前两天打算迁移一份数据，自然而想到了Apache Sqoop，遂打开Apache官网寻找下载链接，但是竟然没有找到他的踪影。

这不科学啊，前几个月还看到过来着，有点不死心，直接尝试登陆直接https://sqoop.apache.org/

Aapche Sqoop官网

Project Sqoop has retired. For details please refer to its Attic page.

Apache基金会里竟然还有项目退役一说，仔细看了下，原来Apache Sqoop在2021年6月就已经进入Attic了，就是最近的事情。不过，「Attic」是啥啊？并没有听说过；进入到Attic的项目会咋样？，我们继续探索下。

Apache Attic介绍

Apache Attic原来就相当于Apache的小黑屋，如果Apache托管的项目长时间不活跃(超过2年没有release新版本，没有committer、contributer并且没有未来roadmap)，就会选择将项目移动到Attic中，这也就相当于Apache的项目管理了，掌管整个项目的生命周期。

Sqoop移动到Attic的项目对咱们有啥影响呢？

目前将Sqoop做数据迁移工具公司不在少数，当Sqoop移动到Attic后，单单使用来说是完全不受影响的；Apache Attic依旧会提供代码库的下载；但是不会再修复任何的bug，release新版本了，并且也不会再重启社区。

看到这里其实就没有这么慌了，我们还能继续用，不过如果遇到问题，我们只能自己建个分支去fix了，从侧面来说，也能说明Sqoop在某个角度是成功的，毕竟曾经成为Apache顶级项目，如果真的是长时间没有release，有可能是他确实已经够成熟了。

准备关闭Attic页面的时候，顺便扫了一眼在Attic中的项目，基本都不认识，但也看到几个熟悉的身影，如Chukwa，Sentry，Eagle。相信也有不少公司在使用，比如我们公司还在使用Sentry。换个角度，现在技术快速更迭太迅速了，随着时间流逝，没准过些年Hadoop、Spark也有可能没落呢。以后的事情又谁知道呢？没辙，继续学吧，今天我们先来聊聊Sqoop。

---

Sqoop定位和现状

简单来说Sqoop的定位就是Hadoop生态存储和结构化存储之间的数据迁移。我们比较常见的场景就是HDFS/HBase/Hive和MySql/Oracle之间的数据互导。Sqoop作为数据传输的桥梁，通过定义MapReduce的InPutFormat和OutPutFormat来对接源存储和目的存储。

注意在Sqoop中上只会涉及MapReduce中的Map阶段，而不会有Reduce阶段

Sqoop架构简图

目前Sqoop总体有两大版本分为Sqoop1和Sqoop2，Sqoop1的最新release是1.4.7；Sqoop2的最新release是1.99.7；这里如果大家使用的话推荐使用Sqoop1，而Sqoop2虽然增加了CLI和Rest api，但实际上是一个半成品，跟Sqoop1也完全不兼容，并且无论是CDH还是之前Apache都是不建议生产使用的，自己随便玩玩还可以。本篇主要介绍的版本还是基于Sqoop1.

---

Sqoop迁移原理

核心逻辑

整个Sqoop的迁移过程，都会对应着一个MapReduce作业，实际上只有Map阶段，而迁移大致分为5个部分，如下所示。

Sqoop逻辑简图

「Initializer」：整个Sqoop迁移的初始化阶段，完成迁移前的准备工作，如连接数据源，创建临时表ÿ