AMiner会议论文推荐第二十七期

AMiner平台由清华大学计算机系研发，拥有我国完全自主知识产权。平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱，提供学者评价、专家发现、智能指派、学术地图等科技情报专业化服务。系统2006年上线，吸引了全球220个国家/地区1000多万独立IP访问，数据下载量230万次，年度访问量超过1100万，成为学术搜索和社会网络挖掘研究的重要数据和实验平台。

IJCAI 2020 论文推荐

Scaling Up AND/OR Abstraction Sampling

论文链接：https://www.aminer.cn/pub/5ef96b048806af6ef277221d/?conf=ijcai2020

推荐理由：抽象采样(Abstraction Sampling，简称AS)是Importance Sampling的一种改进，它通过抽象概念来探索分层，将相似的节点分组为抽象状态。之前的研究表明，AS在AND/OR搜索空间上采样时表现良好；然而，现有的方案为保证无偏性，仅限于 "适当的 "抽象，以至于严重阻碍了扩展性。在本文中，作者介绍了一种新颖的AND/OR搜索空间上的抽象采样方案AOAS，该方法通过规避适当性要求，以更灵活地使用抽象。作者为分析了这种新算法的特性，在五个基准上进行了广泛的实证评估，表明它能够提供一个更强大和更有竞争力的抽象采样框架。

When Do GNNs Work: Understanding and Improving Neighborhood Aggregation

论文链接：https://www.aminer.cn/pub/5ef96b048806af6ef2772099/?conf=ijcai2020

推荐理由：图神经网络（Graph Neural Networks，简称GNNs）在广泛的图相关任务有着强大的能力。虽然存在各种GNN模型，但一个关键的共同成分是邻域聚合，其中每个节点的嵌入是通过参考其邻居的嵌入来更新的。本文旨在通过提出以下问题来更好地理解这种机制。即邻区聚合是否总是必要和有益的？答案是否定的。作者刻画了两种邻区聚合无益的情况：(1)当一个节点的邻居高度不相似时；(2)当一个节点的嵌入与其邻居的嵌入已经相似时。同时作者提出了新的度量方法，对这两种情况进行量化衡量，并将其整合到自适应层模块中。实验表明，允许特定节点的聚合度比目前的GNN有显著优势。

AAAI 2021 论文推荐

DialogBERT: Discourse-Aware Response Generation via Learning to Recover and Rank Utterances

论文链接: https://www.aminer.cn/pub/5fca0ff891e011654d99e762/?conf=aaai2021

推荐理由：最近，预训练语言模型的进展大大改善了神经反应生成。然而，现有的方法通常将对话语境看作是一个线性的令牌序列，并通过令牌级的自注意力机制来学习生成下一个词。这样的令牌级编码阻碍了对语句间话语级连贯性的探索。本文介绍的DialogBERT是一种新型的对话响应生成模型，改善了之前基于PLM的对话模型。DialogBERT采用了分层的Transformer架构。为了有效地捕捉语句间的话语级连贯性，类比于原有的BERT训练作者提出了两个训练目标，包括掩盖语句回归和分布式语句顺序排序。实验结果表明，作者的方法在定量评价上明显优于BART和DialoGPT等基线。同时，人工评价表明，DialogBERT产生的语言连贯性更强、信息量更大、更像人的反应，较基线有明显优势。



Exploring the Vulnerability of Deep Neural Networks: A Study of Parameter Corruption

论文链接: https://www.aminer.cn/pub/5ee3526a91e011cb3bff72fc/?conf=aaai2021

推荐理由：作者认为，模型参数的脆弱性对模型鲁棒性和泛化研究具有至关重要的价值，但人们对这一问题的研究很少。在这项工作中，作者提出了一个指标来衡量神经网络参数的鲁棒性，即通过参数损坏以利用其脆弱性。所提出的指标描述了参数损坏下非平凡最坏情况下的最大损失变化。同时，作者给出了一种基于梯度的估计方法，它比随机破坏试验（random corruption trials）要有效得多，因为随机腐败试验很难引起最坏的精度下降。此外，作者还通过所提出的抗对抗性破坏训练（adversarial corruption-resistant training）对模型进行相应增强，不仅提高了参数的鲁棒性，还能有效对精度进行提升。





Adversarial Language Games for Advanced Natural Language Intelligence

论文链接: https://www.aminer.cn/pub/5dc29a843a55acf4d3a90989/?conf=aaai2021

推荐理由：对抗性游戏（adversarial games）在各种棋牌游戏和电子体育游戏等方面已经得到了深入的研究，但在自然语言处理方面，这种对抗性游戏还是空白领域。由于自然语言本质上是一种交互式游戏，作者提出了一种名为Adversarial Taboo的实用挑战性游戏，在这个游戏中，攻击者和防御者通过连续的自然语言交互进行竞争。攻击者的任务是诱导防御者说出一个防御者看不见的目标词，而防御者的任务是在被攻击者诱导之前检测出目标词。在Adversarial Taboo中，成功的攻击者必须隐藏自己的意图，巧妙地诱导防守者，而竞争性的防守者则必须小心翼翼地说出话语，并推断攻击者的意图。为了实例化游戏，作者创建了一个游戏环境和竞争平台。同时，对几种基线攻击和防御策略的充分试验和实证研究，皆得到了具有前景的结果。

Reinforced Multi-Teacher Selection for Knowledge Distillation

论文链接: https://www.aminer.cn/pub/5fd7354291e011efa3cf5dde/?conf=aaai2021

推荐理由：在自然语言处理(NLP)任务中，推理速度慢、GPU使用量巨大仍然是生产中应用预训练深度模型的瓶颈。作为一种流行的模型压缩方法，知识提炼（knowledge distillation）将知识从一个或多个大型（教师）模型转移到一个小型（学生）模型中。当提炼中有多个教师模型时，当前最先进的方法会在整个提炼中给教师模型分配一个固定的权重。此外，现有的大多数方法都给每个教师模型分配了相等的权重。在本文中，作者观察到，由于训练实例的复杂性和学生模型能力的差异，对教师模型进行差异化学习可以使学生模型提炼的性能更好。因此，作者系统地开发了一种强化方法，针对不同的训练实例动态地给教师模型分配权重，以优化学生模型的性能。

订阅了解更多论文信息，定制您的个人科研动态信息流：https://www.aminer.cn/user/notification?f=mt