allwefantasy的专栏

上次我表达了一个观点。在大数据和AI领域，编程语言方面，现状依然是从老的语言堆里，去找一个最适合当前需求的语言。比如大数据我们发现以前关系库查询语言SQL不错，所以我们找出来了进行可扩展。AI领域，发现Python易用性不错，所以用了Python。 但随着时间推演，他们一定是越发的不能满足，这个时候必然需要有新一个重新设计的语言才能较好的满足新的需求。 其次，大数据和AI按我之前说的总分总理论，必然是要合并的。大数据只会是AI的一部分。就像有位朋友说，现在大数据在AI里其实就是一个Dataset概念，大数据中的”大“字迟早会弱化，甚至消失在AI体系中。所以语言层面会出现一统。但是很多人认为会是Python语言，我觉得不会。第一是Python门槛依然很高，而实际上他的成功其实来自于他已经是编程语言里比较简单的了，这表明，只要有比他更简单的编程语言，而且能满足需求，那么一定会取代亦或是融合Python。第二是python对数据处理的优势依然不大（相比SQL），而这个是Python语言的自身限制导致的。 第三个是，在大数据/AI中，你会发现对时间的限制条件放宽了，不再需要微妙纳秒的响应的时间，毫秒，秒，分钟甚至小时都是有可能的。所以 1) 可以放心的纯解释执行 2）可以放心的分布式执行 3）通过损失响应速度来提升语言的易用性。

很多同学会认为鱼与熊掌难以兼得，各个系统应该各有优势，难以覆盖全了。但这本质上还是因为技术发展所处的阶段限制的。实际上，看技术规律，都是总分总结构的。一开始MPP无线风光，后面Batch（SQL on Hadoop)架构崛起，现在随着AdHoc查询越来越重要，MPP又开始有所回归，到最后，必然是Batch/MPP越来越难以安辨雌雄，走向融合。同理OLTP,OLAP ,他们分分合合，但从长远看，必然会会在一个系统里实现它，实现融合，至少现在证明技术上是可行的，比如THAP系统TiDB,以及相对来说T弱一点的Hologres等。

其实最近有一个感触非常深，就是一个项目越来越多语言化。以前我们泾渭分明的说，诶，这个引擎是Java开发的，那个是C++开发的。现在则不是这样了。而且还分成两个层次：一个是引擎自身实现需要用到多语言，第二个是为了照顾使用层面。Spark是两个层面都要兼顾到，而比如很多深度学习框架，则主要是为了照顾使用层面，用Python包一层方便使用。 那这个趋势有什么价值呢？我认为有三点： 1. 多语言意味着需要数据在不同语言中交互，可以是进程内，也可以进程间，这期间需要大批量数据交换，这个时候一致的，可以减少序列化反序列化数据交互格式就变得很必要了。这也是Arrow诞生的原因，也是他发展最大驱动力。而随着他的使用越来越广泛，越来越多的项目会将其作为标准数据交换格式。 2. 多语言意味着一个系统在启动后，有各种进程。比如Spark里同时有Python VM, JVM 等。如何统一管理这些复杂的进程，尤其是他们各自有各自的环境需求和依赖，变得很重要，其次，一般而言都会有个manager语言，比如在Spark里是Java管Python,那这里其实就给业务层带来了很多管理的overhead。基于K8s固然能解决一部分，但我认为最有价值的底座还是Ray 3. 还有一个就是辅助配套工具要变革。第一个是，IDE要变革了，Intellij 现在是对混合项目的支持还非常的不好，相比较而言，轻量编辑器 Visual Code则可能能抓住这波机遇。 另外，Make这种工具会再次回归，因为他和语言无关。在多语言项目里，make会成为入口。

很多企业都在尝试给spark去实现native runtime，做这件事的好处不应该只从性能上考虑。它能同时实现三个目标： 第一个，借助这次机会，将native engine实现为MPP架构，夺回Adhoc查询 实现最强最全面引擎的能力 第二个 给未来适配新硬件提供口子 架构上也可以更从容 第三个 也给Ray提供了新的机会 他们很难重新实现spark，但还是有机会通过其自身C++ API 给spark，presto 提供一个统一native runtime （类似velox正在做的事情)

对于联邦学习，考虑下，如果server和clients 自身也都是分布式的，同时都实现了很强的故障恢复能力，是不是会更有意思？ 期待有小伙伴们能够一起验证使用MLSQL实现联邦学习 。之前初步想了下 还是很容易实现的。另外，跨云的联邦学习中，每个节点的存储（云）变的非常稳定，加上弹性的资源以及基础设施（如K8S），这使得server的故障恢复也会更加容易。server自身是分布式的话，可以使得其自身得到了很强的横向扩展能力，尤其是算力。总之，加了云之后，我觉得很多事情可以变的更加有趣。

风景长宜放眼量。任何事情拉长时间一点看，就不容易陷入局部的混沌和焦虑。昨天和同事探讨了很多有意思的观点，我都很认同。譬如生活和工作的平衡，如果你强行追求每天的完美平衡，终究容易两者皆失，亦或是难以达到目标而陷入心中的纠结，但我们拉长时间，在一段时间内获得平衡才可能是最佳利益所在。同样的，你可能做一项你认为极度有意义的事，但中间出现诸如资源不足等导致事情进展慢，不妨也把时间拉长一点，每个区间进度有块有慢，或许下个阶段我们获得了超量的资源。我们追求最终一致性，也就是最终的目标是不是在合适的时间达到，这种思维也让我们在面对困难和挫折更有积极的心态。总之，拉长一点看，事情在变化和发展，多抓住和利用好的变化。