退役的Apache Slider

退役的Apache Slider

Apache Slider是一个工具和技术集，用于在Apache Hadoop YARN集群上打包、部署和管理长时间运行的应用程序。

它是Apache的一个孵化项目，在2014-04-29开始孵化，在2018-05-24退役。中间断断续续有过十几次更新。

为什么要开发Slider？

因为Yarn，一般用于一次性的作业提交，如MapReduce、Spark，为作业分配Container资源，当作业完成后就会进行资源的释放。而Slider的想法，是可以将长时间运行的守护进程直接部署到Yarn之上，如HBase、Storm、Accumulo等服务，这意味着Container会保持长时间的运行而不会进行释放。

听着好像不错，但将服务部署到Yarn之上，有什么好处呢？其实，它就是微服务的雏形，和K8S做的事情基本类似。Apache Slider的孵化时间是2014年，而Google的Kubernetes项目开源时间也是2014年。

不得不说，Apache Slider是一个很有远见的项目。

假设将HBase运行在Yarn上后，它便拥有了以下特性：

（1）在一个物理机群中，可以同时部署多个HBase集群。

（2）为HBase集群提供了资源隔离。

（3）可以将多个版本的HBase部署到同一个集群中。

Apache Slider已经内置了HBase On YARN，Storm On YARN 和Accumulo On YARN三个实现。对于其它服务，用户需要编写一系列配置和脚本，并需要自己尝试编写ApplicationMaster和Client实现，仍有一定难度，但是，一旦开发完成后，以后就可以重复使用了。

而且除了微服务这样的应用场景之外，Hive LLAP的运行也需要依赖Slider服务。LLAP是Hive部署在Yarn之上的一个用于数据缓存的服务，这样Hive任务在运行时，可以直接从LLAP中提取数据，或者缓存频繁查询的数据结果。利用LLAP，官方表示可以提升大概25倍的运行效率。

那Apache Slider为什么最后退役了呢？是因为在Hadoop 3.x版本，Yarn已经支持长作业的运行。但对于Hadoop 3.x之前的集群，想要部署LLAP等功能，还需要依赖Slider进行。

如果需要安装Apache Slider，需要从github中获取源码。并且可以尝试在Yarn集群中部署HBase，或者LLAP。

Apache社区除了Slider，其实还有很多有趣和实用的开源项目，之后慢慢为大家分享。

后话

如果有帮助的，记得点赞、关注。在公众号《数舟》中，可以免费获取专栏《数据仓库》配套的视频课程、大数据集群自动安装脚本，并获取进群交流的途径。

我所有的大数据技术内容也会优先发布到公众号中。如果对某些大数据技术有兴趣，但没有充足的时间，在群里提出，我为大家安排分享。

公众号自取：