1+1 如何大于 2 ?这个问题在不同场景中有不同的回答,在机器学习领域,答案是“联邦学习”。
2016 年,谷歌提出一种被称为「联邦学习」的机器学习框架——在保证数据安全的前提下,通过多方数据共同训练建模,将数据价值最大化。作为机器学习新范式,联邦学习为保证数据安全、打破数据隔离、深入挖掘数据价值提供了新的解决方案,在 B 端服务和优化广告投放、内容推荐等领域发挥着越来越大的效用。
字节跳动自 2019 年底启动了联邦学习平台 Fedlearner 的自研项目,Data、广告系统、商业产品、广告技术、专利、法务等多个团队通力合作,在今年初开源。平台支持多类联邦学习模式,整个系统包括控制台、训练器、数据处理、数据存储等模块,各模块对称部署在参与联邦的双方的集群上,透过代理互相通信,实现训练。
目前,Fedlearner 已经在电商、金融、教育等行业多个落地场景实际应用,并取得显著正向效果。
经过和项目团队的交流,今天,技术范儿要为大家呈现Fedlearner联邦学习平台的创建过程、优势亮点和未来挑战。
01
联邦学习落地广告领域
我们有独特优势
去年10月,字节跳动联邦学习平台 Fedlearner 项目启动。基于公司在推荐和广告领域拥有的机器学习建模技术积淀,团队决定以广告为切入点,探索联邦学习在广告场景中的落地。
“和市面上现有的一些联邦学习平台比起来,我们更清楚广告主的痛点在哪里,可以去做针对性地优化。”团队同学介绍说,在广告领域应用联邦学习,字节跳动优势明显。
我们的优势在于,是从做业务驱动出发的,会和广告主紧密配合,比如针对现有的投放有什么问题需要优化,基本上可以提出一对一的解决方案。
基于服务客户的平台定位,Fedlearner 的技术开发、客户合作和产品落地几乎从一开始就是同步推进的ÿ