2021年11月_AMiner学术搜索和科技情报挖掘

原创《强化学习周刊》第26期：UCL& UC Berkeley发表深度强化学习中的泛化研究综述、JHU推出基于强化学习的人工决策模型

关于周刊强化学习作为人工智能领域研究热点之一，其研究进展与成果也引发了众多关注。为帮助研究与工程人员了解该领域的相关进展和资讯，智源社区结合领域内容，撰写为第26期《强化学习周刊》。本期周刊整理了强化学习领域相关的最新论文推荐和新工具、数据集等，以飨诸位。本期贡献者：李明、刘青、小胖、陈元文章来源：智源社区论文推荐强化学习近年来取得了令人瞩目的成就，其应用于各个领域的研究也取得较大的进步，比如目标条件强化学习、基人工决策模型强化学习、深度强化学习在恶意软件中的应用、无模型风险敏感强化学习、迁移强化

2021-11-29 21:31:33 2546

原创《因果学习周刊》第4期：因果发现方法

关于周刊因果学习作为人工智能领域研究热点之一，其研究进展与成果也引发了众多关注。为帮助研究与工程人员了解该领域的相关进展和资讯，智源社区结合领域内容，撰写了第4期《因果学习周刊》。发现一组变量之间的因果结构是因果学习中的一个基本问题，旨在理解数据生成的因果机制。在各种科学和工业场景中，这也是一项至关重要的任务，在生物学、卫生保健和经济学等许多领域有着重要的应用，对于算法可解释性、稳定性和公平性的研究也有着重要的作用。在因果发现中，学习到的因果图的形式为有向无环图(DAG)，一种有效的方法是进行随机对照实

2021-11-29 21:23:21 3717

原创《预训练周刊》第28期：M6-10T：高效多万亿参数预训练的共享去链接范式、大模型自然语言处理的最新进展综述

关于周刊本期周刊，我们选择了11篇预训练相关的论文，涉及模型训练、图像编码、气候文本、对比学习、文本生成评估、小样本学习、决策推理、胚胎突变预测、蛋白质分析、数据集检测和模型可解释性的探索。此外，在研究动态方面，我们选择了1篇预训练资讯，将介绍大模型综述方面的一些最新内容。（本期贡献者：申德周翟珂吴新刚）文章来源：智源社区论文推荐标题：阿里｜M6-10T: A SHARING-DELINKING PARADIGM FOR EFFICIENT MULTI-TRILLION PARAMETER P

2021-11-29 21:17:26 362

原创《因果学习周刊》第5期：NeurIPS2021 因果发现最新进展

关于周刊因果学习作为人工智能领域研究热点之一，其研究进展与成果也引发了众多关注。为帮助研究与工程人员了解该领域的相关进展和资讯，智源社区结合领域内容，撰写了第5期《因果学习周刊》。本期周刊承接上期中关于因果发现(Causal Discovery)的介绍，总结了最新放榜的NeurIPS 2021会议接收论文中与因果发现相关的文章，代表了因果发现领域最前沿的关注方向与最新进展，也提出了一些新的问题设定与全新算法，希望给同领域或相似领域的研究者带来帮助和启发。本期贡献者：刘家硕文章来源：智源社区论文推荐

2021-11-29 21:08:36 1509

原创了解Attention就看这篇paper，清华&南开最新「视觉注意力机制Attention」综述论文

最新注意力机制综述，由清华大学计算机图形学团队和南开大学程明明教授团队、卡迪夫大学Ralph R. Martin教授合作，系统地介绍了注意力机制在计算机视觉领域中相关工作，论文首先将基于注意力的模型在计算机视觉领域中的发展历程大致归为了四个阶段：将深度神经网络与注意力机制相结合，代表性方法为RAM明确预测判别性输入特征，代表性方法为STN隐性且自适应地预测潜在的关键特征，代表方法为SENet自注意力机制论文链接：Attention Mechanisms in Computer Vision:

2021-11-22 10:52:41 3125

原创《强化学习周刊》第25期：DeepMind提出无模型风险敏感强化学习、谷歌发布 RLDS数据集生态系统

关于周刊强化学习作为人工智能领域研究热点之一，其研究进展与成果也引发了众多关注。为帮助研究与工程人员了解该领域的相关进展和资讯，智源社区结合领域内容，撰写为第25期《强化学习周刊》。本期周刊整理了强化学习领域相关的最新论文推荐和新工具、数据集等，以飨诸位。本期贡献者：李明、刘青、小胖、陈元文章来源：智源社区论文推荐强化学习近年来取得了令人瞩目的成就，其应用于各个领域的研究也取得较大的进步，比如分层强化学习、基准偏好的强化学习、基于深度强化学习的机器人控制、无模型风险敏感强化学习、安全强化学习相关的

2021-11-17 14:25:06 298

原创《因果学习周刊》第3期：从因果学习到不变学习方法

关于周刊因果学习作为人工智能领域研究热点之一，其研究进展与成果也引发了众多关注。为帮助研究与工程人员了解该领域的相关进展和资讯，智源社区结合领域内容，撰写了第3期《因果学习周刊》。本期周刊推荐的8篇论文，延续了第1期周刊中关于解决分布外泛化问题(Out-of-Distribution Generalization)的不变学习方法的介绍，包含了不变学习方法最新的进展。这类方法提出了从数据中学习具有因果不变性质的表征或模型，使得模型对于分布偏移具有很好的抵抗作用，对于机器学习模型走向应用，特别是高风险领域，

2021-11-16 15:56:15 336

原创 AMiner推荐论文：A Normalized Gaussian Wasserstein Distance for Tiny Object Detection

论文链接： https://www.aminer.cn/pub/6178c43b5244ab9dcbb2b674?f=cs小目标在许多现实世界的应用中无处不在，包括驾驶辅助、大规模监控和海上救援。尽管由于深度神经网络的发展，目标检测取得了显著的进展，但大多数都是用于检测正常大小的目标。而小目标(AI-TOD数据集中小于像素)往往表现出极其有限的外观信息，增加了识别特征的学习难度，导致小目标检测失败的案例非常多。小目标检测(TOD)的研究进展主要集中在改进特征识别方面。为了提高小目标和相应特征的分辨率，对

2021-11-16 15:09:20 4497 6

原创 AMiner推荐论文：Few-fs resolution of a photoactive protein traversing a conical intersection.

论文链接： https://www.aminer.cn/pub/61850ac75244ab9dcb7ac232?f=csMeta 提出的单个多语言模型，首次超过最佳双语模型，赢得了著名的 WMT 竞赛。作为分子几何学函数的分子电子的量子力学能量，产生了用于原子核运动的有效势能面。当有 d 个核自由度时，势能面（PES）是 d 维的。在所谓的波恩-奥本海默（BO）近似中，电子自由度和核自由度是分开处理的。当两个 PES 接触时，BO 近似不再有效。锥形交叉点是这种势能简并的区域，形成一个（d – 2）

2021-11-16 15:08:34 657

原创 AMiner推荐论文：Facebook AI WMT21 News Translation Task Submission

论文链接：https://www.aminer.cn/pub/6111f7de5244ab9dcb065084?f=csMeta 提出的单个多语言模型，首次超过最佳双语模型，赢得了著名的 WMT 竞赛。机器翻译（MT）领域的最终目标是构建一个通用的翻译系统，以帮助用户获取信息并更好地相互联系。但是 MT 领域需要解决实际应用中遇到的基本局限性，未来才能更好的使用。如今，大多数 MT 系统使用双语模型组，这通常需要为每个语言对和任务提供大量标记示例。不幸的是，这种方法对于训练数据很少的语言（例如冰岛语、

2021-11-16 15:07:40 1948

原创 AMiner推荐论文：Hierarchical Transformers Are More Efficient Language Models

论文链接： https://www.aminer.cn/pub/6178c43c5244ab9dcbb2b868?f=cs谷歌、OpenAI和华沙大学的一个团队提出了一种新的用于语言建模的高效Transformer架构Hourglass，在ImageNet32上达到新的SOTA，证明拥有一个明确的分层结构是Transformer能有效处理长序列的关键。Hourglass在给定相同计算量和存储量的情况下，可以产生比Transformer更好的结果。>>加入极市CV技术交流群，走在计算机视觉的最前

2021-11-15 16:57:42 589

原创 AMiner推荐论文：Interpretable and Efficient Heterogeneous Graph Convolutional Network

论文链接： https://www.aminer.cn/pub/5ecf8d2391e01149f850f4a5?f=cs目前面向异质图的图卷积神经网络普遍存在两个重要的不足：（1）大部分已有工作依赖用户人工输入一系列任务相关的元路径（Meta-path），这对于没有专业知识的用户来说是困难的。换句话说，已有方法无法有效地、灵活地从所有可能的元路径中自动挖掘出针对某个任务的最优元路径，这阻碍了模型的有效性和可解释性；（2）大部分已有方法在执行图卷积之前都需要执行额外的、耗时的预处理操作，这显著增加了模型的

2021-11-15 16:56:56 600

原创 AMiner推荐论文：Masked Autoencoders Are Scalable Vision Learners

论文链接： https://www.aminer.cn/pub/618ddb455244ab9dcbda8f5f?f=cs作者先将图像均匀划分为非重叠区块，然后随机对区块进行采样。以遮蔽比例75%为例，它先在输入图像中掩蔽75%的随机区块，编码器只在可见的25%区块子集上运行，这样就可以只用非常少的计算和显存，来训练非常大的编码器。然后解码器将可见的token和掩码token组合，并向所有token中添加位置嵌入，通过预测每个掩蔽区块的像素值来重建图像信号。这样一来，在预训练时解码器可以独立于编码器

2021-11-15 16:56:14 969

原创 AMiner推荐论文：NLP From Scratch Without Large-Scale Pretraining: A Simple and Efficient Framework

论文链接：https://www.aminer.cn/pub/6189e6d05244ab9dcb76e71a?f=cs预训练语言模型因其强大的性能被广泛关注，基于预训练 - 微调（pretraining-finetuning）的范式也已经成为许多 NLP 任务的标准方法。然而，当前通用语言模型的预训练成本极其高昂，这使得只有少数资源充足的研究机构或者组织能够对其展开探索。这种「昂贵而集权」的研究模式限制了平民研究者们为 NLP 社区做出贡献的边界，甚至为该领域的长期发展带来了障碍。近期，为了缓解这一

2021-11-15 16:55:36 629

原创图神经网络论文合集

1.论文名称：Weisfeiler and Leman Go Neural: Higher-order Graph Neural Networks.链接：https://www.aminer.cn/pub/5bdc31b417c44a1f58a0b240/?f=cs2.论文名称：Graph Convolutional Encoders for Syntax-aware Neural Machine Translation.链接：https://www.aminer.cn/pub/599c7954601

2021-11-12 17:05:57 554

原创 AMiner推荐论文：TiKick: Toward Playing Multi-agent Football Full Games from Single-agent Demonstrations

论文链接：https://www.aminer.cn/pub/6164fcc15244ab9dcb24cf7a?f=cs在多项国际赛事中夺得冠军则是指，TiKick在单智能体控制和多智能体控制上均取得了SOTA性能，并且还是首次实现同时操控十个球员完成整个足球游戏。这支强大的AI团队是如何训练出来的呢？从单智能体策略中进化出的多智能体足球AI在此之前，先简单了解一下训练所用的强化学习环境，也就是这个足球游戏：Google Research Football（GRF）。它由谷歌于2019年发布，提供

2021-11-12 12:58:46 2645

原创 AMiner推荐论文：Efficient and targeted COVID-19 border testing via reinforcement learning

论文链接： https://www.aminer.cn/pub/6172abac5244ab9dcbc28b14?f=cs在整个 COVID-19 大流行期间，不少国家依靠各种临时边境控制协议，在保障公共卫生的同时允许必要的旅行：从隔离所有旅行者，到根据病例、死亡或阳性检测率等全民流行病学指标限制特定国家人员入境。许多国家/地区会随机或根据风险类别选择旅客进行 COVID-19测试。例如，来自高感染率地区的人可能比来自低感染率地区的人优先接受检测。但 Eva 有所不同，Eva 将实时检测数据与访客在抵达

2021-11-12 12:57:59 224

原创 AMiner推荐论文：A Survey on Green Deep Learning

论文链接：https://www.aminer.cn/pub/618b38575244ab9dcb710ee4?f=cs近年来，更大、更深度的模型层出不穷，并不断推动各种领域(如自然语言处理(NLP)和计算机视觉(CV))的最先进(SOTA)结果。然而，尽管有很好的结果，但需要注意的是，SOTA模型所需的计算是以指数速度增长的。大规模计算不仅会产生惊人的巨大碳足迹，而且还会对研究的包容性和现实应用的部署产生负面影响。绿色深度学习是一个日益热门的研究领域，呼吁研究者关注模型训练和推理过程中的能源使用和碳排

2021-11-12 12:56:59 776