No.69
智源社区
预训练组
预
训
练
研究
观点
资源
活动
周刊订阅
《预训练周刊》已经开启“订阅功能”,扫描下面二维码,进入《预训练周刊》主页,选择“关注TA”,即可收到推送消息。
关于周刊
本期周刊,我们对2022年的预训练周刊中报道论文进行了重点汇总,包括了本年度的热点论文及领域综述等。视觉多模态话题包括各种通用模型、图文生成,机器人等;自然语言话题包括全年各个大厂的预训练和微调大模型等;生命科学话题介绍了本年在蛋白质预训练方面的进展;基础研究话题包括了Pathways、foundation transformer等在相对底层方面的工作。
本期汇总的话题,谨代表预训练周刊2022年中所报道的部分选摘内容,从中可以看到2022年大模型向着更大更通用的模型发展等整体趋势,希望2023能共同见证更通用更智能模型在各个下游领域大展身手。藉此机会、编辑组全员谨祝大家新年快乐!
周刊采用社区协作的模式产生,欢迎感兴趣的朋友们参与我们的工作,一起来推动预训练学习社群的分享、学习和交流活动。可以扫描文末的二维码加入预训练群。
(本期贡献者:翟珂 吴新刚)
论文推荐
【视觉模态研究】
标题:Meta|data2vec: A General Framework for Self-supervised Learning in Speech, Vision and Language(data2vec:语音、视觉和语言自监督学习的通用框架)
推荐理由:本文介绍了一种通用表征工具,它对任何一种模态都使用相同的学习方法, 核心思想是利用标准Transformer架构的遮蔽和自蒸馏机制学习,而不是预测特定任务目标。
论文地址:https://arxiv.org/pdf/2212.07525.pdf
Hub地址:https://hub.baai.ac.cn/view/14313
标题:谷歌 | Scaling Autoregressive Models for Content-Rich Text-to-Image Generation(用于内容丰富的文本到图像生成的缩放自回归模型)
推荐理由:本文展示了在Pathways基础上训练的自回归文本到图像模型Parti,这是一种自回归文本到图像生成模型,可实现高保真照片级真实感图像生成,并支持涉及复杂构图和世界知识的内容丰富的综合,与谷歌的Imagen扩散模型分庭而立。
论文地址:https://arxiv.org/pdf/2206.10789.pdf
Hub地址:https://hub.baai.ac.cn/view/18292
标题:Meta | Scaling Language-Image Pre-training via Masking(通过掩码进行语言-图像预训练的缩放)
推荐理由:本文提出一种用于训练CLIP的简单而有效的方案FLIP,它在训练过程中对图像块进行大比例的随机掩码移除,可以将CLIP的训练过程加速2~3倍。其核心改进就是在训练过程对图像进行随机掩码。
论文下载:https://arxiv.org/pdf/2212.00794.pdf
HUB地址:https://hub.baai.ac.cn/view/22214
标题:谷歌等 | RT-1: Robotics Transformer for Real-World Control at Scale(RT-1: 用于真实世界大规模控制的机器人Transformer)
作者:Anthony Brohan, Noah Brown等
推荐理由:本文提出了机器人Transformer RT-1,它可以吸收大量数据,并推广到新任务、环境、物体和其他机器人形态。RT1基于transformer解码器架构构建,将图像和任务描述作为输入,经过ImageNet预训练的EfficientNet-B3模型和语言模型指令编码后,直接输出代表动作的11个变量的离散化表征。
论文下载:https://arxiv.org/pdf/2212.06817.pdf
HUB地址:https://hub.baai.ac.cn/view/22538
标题:Deepmind、牛津等 | Pushing the limits of self-supervised ResNets: Can we outperform supervised learning without labels on ImageNet?(突破自监督ResNet的极限:我们能否在无标签ImageNet上超越监督学习?)
推荐理由:本文提出了ReLICv2,它将不变性损失与对比目标相结合,首次证明了在无标签的情况下学习到的表征能够持续超越ImageNet上强大的监督基线,同时它也是第一个使用标准ResNet架构的在同类比较中持续优于监督基线的表征学习方法。
论文下载:https://arxiv.org/pdf/2201.05119v1.pdf
Hub地址:https://hub.baai.ac.cn/view/14183
标题:谷歌 | PaLI: A Jointly-Scaled Multilingual Language-Image Model(一种联合扩展的多语种语言图像模型)