4月22日,FATE开源社区第九期圆桌会圆满落幕。本次圆桌会,三位业内专家分别为我们讲述了,FATE on Spark传输服务的设计与实现,FATE基础引擎框架设计与实现,FATE v1.7版本展望和需求征集。
接下来带大家回顾一下经典问答环节,为新老朋友答疑解惑。
FATE on Spark传输服务的设计与实现
Q1、pulsar的相关功能之后也会在kubefate中实装是吗?
是的,目前pulsar相关功能已经在kubefate中有了,但是就是比较简单的pulsar的standalone部署,后面我们会继续pulsar的集群部署。
Q2、刚刚谈到FATE on eggroll比FATE on Spark就是传输的性能差别,能够展开说说,大概有多大差别?
其实也不是传输性能差别,而是有些资源利用的不够好。目前在pulsar的实现中,数据量太大的时候,中间会有一些卡顿,甚至整个训练传输停滞。通过debug,数据量大的时候,开的topic很多,这时如果没有及时回收,就会导致训练停滞,后面我们会跟pulsar一起合作去fix。其实,也不是传输速率上的差别,而是资源没有及时回收,导致有停滞的情况出现。
Q3、