yarn
祝威廉
这个作者很懒,什么都没留下…
展开
-
如何基于Yarn开发你的分布式程序
前一段时间自己开发了一套基于Yarn的容器调度系统,这篇文章就是分享其中的一些经验。原创 2016-01-02 10:33:42 · 3428 阅读 · 2 评论 -
Transformer架构解析
核心观点: 服务的本质是数据的流转与变换 数据的变换依赖于数据的流转,只有流转的数据才能够被变换。基于这个理念,我们提出了Transformer架构。基本概念定义 Transformer。 我们的每一个服务应用,都是一个数据转换器。数据在这些Transformer之间进行流动和转换。流动的过程就是Pipeline形成的过程(Pipeline的概念在后续会有定义)。典型的例子比如你开发的一个Spark原创 2016-02-14 16:59:51 · 4329 阅读 · 1 评论