腾讯、鹏城实验室、北大发布联邦学习论文!AAAI 2020收录

腾讯、鹏城实验室及北京大学合作发表的联邦学习论文被AAAI 2020收录,提出aimNet框架,解决视觉与语言基础问题,无需共享数据即可提升图像字幕与VQA任务的性能。
摘要由CSDN通过智能技术生成

会议之眼前沿领域篇-联邦学习

在上一期中,我们为大家带来了什么是联邦学习,谷歌为你画了部漫画!联邦学习属于相对前沿的研究领域,做好了离发顶会paper也就不远了。这不,北大、鹏城实验室以及腾讯三家强强联手发表了一篇联邦学习论文,用于解决视觉和语言基础问题。该论文目前已被AAAI 2020收录!


文章简介

腾讯、鹏城实验室、北大发布联邦学习论文!AAAI 2020收录

 

http://web.pkusz.edu.cn/adsp/files/2019/11/AAAI-FenglinL.1027.pdf


最近,大家对诸如图像字幕和视觉问题解答(visual question answering,VQA)有很强的研究兴趣。受到联邦学习的启发,作者提出了一种联邦学习框架aimNet,该框架通过绑定不同的下游视觉和语言任务来提取细粒度的图像表示,同时避免了数据共享。

 

aimNet介绍

在图像字幕中,系统将图像作为输入,并输出描述。而VQA是一个更具挑战性的问题,需要要求模型根据图像和问题给出答案。深度神经网络在推进图像字幕和VQA的最新技术方面取得了巨大的成功。但大多数现有的基于深度学习的框架都专注于单个任务。如果一起考虑这些问题,则可以共同学习来自不同任务的不同知识,并且很有可能提高每个任务的效能。为了实现这一目标,此前已有研究人员提出了针对视觉和语言基础任务的多任务学习框架。但是,这些方法是在共享所有下游任务数据的条件下进行训练的,这可能会导致数据泄漏。联邦学习的目标是根据分布在多个客户之间的数据集训练高质量的集中式模型,而无需共享客户的数据。受此启发,集中式模型aimNet应运而生,它由一个对齐模块,一个集成模块和一个映射模块组成,如图1所示。

腾讯、鹏城实验室、北大发布联邦学习论文!AAAI 2020收录

 

对齐模块通过对提取的视觉和文本特征进行相互关注来构建对齐的

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值