Alluxio社区范斌博士访谈录：关于数据编排，云迁移以及数据工程中的挑战

编者按：在本期的博客文章中，我们有幸采访到了Alluxio公司创始工程师并现任开源副总裁的范斌博士。范斌是Alluxio开源项目的管理委员会成员（PMC member）和源码维护者(maintianer)。加入Alluxio项目之前, 范斌就职于谷歌，从事下一代大规模分布式存储系统的研究与开发。范斌2013年获得卡内基梅隆大学(Carnegie MellonUniversity)计算机系博士学位，博士期间从事分布式系统的设计与实现。

主持人：您能否向不熟悉数据编排的人简要解释一下数据编排的概念？

Bin：当然可以！数据编排是一个相对较新的概念，这个概念描述了用于抽象化跨存储系统的数据访问、虚拟化所有数据、通过全局命名空间标准化API提供数据的一系列技术。数据编排技术可以有效地服务于数据驱动的应用程序。由于新型计算和存储框架的方兴未艾、云采用/迁移以及数据驱动的应用程序的大量涌现，整个数据生态系统的复杂度也在不断提高，因此有对数据编排对于整个系统非常亟需。H.Y.的这篇博客有关于数据编排概念的更多细节。

主持人：您从数据工程师那里了解到的数据编排可以解决的最大痛点有哪些？

Bin：在“过去”（也许只是两三年前）中，大多数据工程师都在私有环境下的数据仓库上开展工作。他们拥有他们自己管理的集群，上面运行着Hive，Spark ELT作业，分析或其他工作负载。然而，维护如此庞大而复杂的生态系统面临许多挑战。为了能够实现系统的部署，维护，升级，性能调整或故障排除，工程师必须对整个堆栈的每个部分都有深刻的理解。

在“当今世界”中，越来越多的企业和用户正在迁移到例如AWS，Google Cloud或Microsoft Azure等公共云上。这些云服务提供商在简化任务方面做得非常出色，例如，一键式启动集群或启动查询。如今，当使Alluxio，Presto，Spark，Hive等时，您通常只需要一个命令即可完成。云服务提供商通常提供自己的对象存储作为数据湖。

对于数据工程师来说，这些发展意味着更快的准备时间、简化安装流程以及更快洞察速度。另一方面，由于它更像是一个“黑盒子”，因此许多现有的流行数据和元数据存储的架构在设计过程中未考虑这些数据可以存储在云中。因此，直接在云上运行现有或遗留的数据流水线可能会带来许多效率低下的情况。整个云的技术栈不是为此目的而设计的。这就是Alluxio可以帮助在云中工作的数据工程师简化工作的另一个领域。

主持人：您提到云平台采用率的增长是推动数据编排需求的趋势之一。您如何看待当前的形势？

Bin：我们常常探讨行业发展趋势，并提供有关行业长期发展方向的预测。在我看来，一个明显的趋势是，人们正在迁移到云环境中，并对正在对自己维护的本地数据仓库说再见。他们正在将越来越多的工作负载和数据迁移到云环境中。Alluxio数据编排平台天生就是为了帮助用户更快，更流畅地拥抱这些发展趋势。
我们将分享的另一个趋势是使用Kubernetes作为抽象层。结合迁移到云，这意味着许多服务变得越来越具有弹性和短暂性。运行服务变得如此容易，以至于当不需要该服务或服务请求流量很少时，您可以将该服务规模变小或关闭。这在之前使用本地数据仓库的情况下通常很困难。

在云中，您可以说是“租用”所有内容。这意味着事情变得越来越短暂且更加动态-并且您需要调整方方面面使得一切变得更高效。这时计算和存储将变得更具弹性。关于如何接受这种弹性的问题本身就具有挑战性。这是数据编排可以提供帮助的另一个领域场景。

主持人：几年来，我们已经听到很多有关行业迁移到云环境的趋势的信息。但是现在这正在发生，而不是仅仅谈论这样的举动。您觉得是什么变化最终促使很多公司现在走向了云计算？

Bin：三四年前，许多人认为初创公司是主要使用云的组织，因为它们不必预先构建任何东西。但是一旦他们成长到某个阶段，他们将离开云环境并建立自己的数据仓库以降低成本。无论如何，那只是当初的假设。

实际上，我们所看到的恰恰相反。新公司正在使用公共云，但老公司或成熟的公司也是如此。那么是什么推动了这一趋势？我认为这是因为如今在公共云中运维的成本要比本地数据仓库便宜。同样地，工作负载通常会有突发性。在云环境中，您随用随付。这种模式在今天更加合理。我相信迁移到云是未来的大趋势。

更多精彩内容，请Allluxio微信公众号：Alluxio_China