第九期圆桌会回顾:基础引擎框架及FATE on Spark架构分享

 

4月22日,FATE开源社区第九期圆桌会圆满落幕。本次圆桌会,三位业内专家分别为我们讲述了,FATE on Spark传输服务的设计与实现,FATE基础引擎框架设计与实现,FATE v1.7版本展望和需求征集。

接下来带大家回顾一下经典问答环节,为新老朋友答疑解惑。

 

FATE on Spark传输服务的设计与实现

 

Q1、pulsar的相关功能之后也会在kubefate中实装是吗?

是的,目前pulsar相关功能已经在kubefate中有了,但是就是比较简单的pulsar的standalone部署,后面我们会继续pulsar的集群部署。

 

Q2、刚刚谈到FATE on eggroll比FATE on Spark就是传输的性能差别,能够展开说说,大概有多大差别?

其实也不是传输性能差别,而是有些资源利用的不够好。目前在pulsar的实现中,数据量太大的时候,中间会有一些卡顿,甚至整个训练传输停滞。通过debug,数据量大的时候,开的topic很多,这时如果没有及时回收,就会导致训练停滞,后面我们会跟pulsar一起合作去fix。其实,也不是传输速率上的差别,而是资源没有及时回收,导致有停滞的情况出现。

 

Q3、

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值