AMiner平台由清华大学计算机系研发,拥有我国完全自主知识产权。平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱,提供学者评价、专家发现、智能指派、学术地图等科技情报专业化服务。系统2006年上线,吸引了全球220个国家/地区1000多万独立IP访问,数据下载量230万次,年度访问量超过1100万,成为学术搜索和社会网络挖掘研究的重要数据和实验平台。
IJCAI 2020 论文推荐
Scaling Up AND/OR Abstraction Sampling
论文链接:https://www.aminer.cn/pub/5ef96b048806af6ef277221d/?conf=ijcai2020
推荐理由:抽象采样(Abstraction Sampling,简称AS)是Importance Sampling的一种改进,它通过抽象概念来探索分层,将相似的节点分组为抽象状态。之前的研究表明,AS在AND/OR搜索空间上采样时表现良好;然而,现有的方案为保证无偏性,仅限于 "适当的 "抽象,以至于严重阻碍了扩展性。在本文中,作者介绍了一种新颖的AND/OR搜索空间上的抽象采样方案AOAS,该方法通过规避适当性要求,以更灵活地使用抽象。作者为分析了这种新算法的特性,在五个基准上进行了广泛的实证评估,表明它能够提供一个更强大和更有竞争力的抽象采样框架。
When Do GNNs Work: Understanding and Improving Neighborhood Aggregation
论文链接:https://www.aminer.cn/pub/5ef96b048806af6ef2772099/?conf=ijcai2020
推荐理由:图神经网络(Graph Neural Networks,简称GNNs)在广泛的图相关任务有着强大的能力。虽然存在各种GNN模型,但一个关键的共同成分是邻域聚合,其中每个节点的嵌入是通过参考其邻居的嵌入来更新的。本文旨在通过提出以下问题来更好地理解这种机制。即邻区聚合是否总是必要和有益的?答案是否定的。作者刻画了两种邻区聚合无益的情况:(1)当一个节点的邻居高度不相似时;(2)当一个节点的嵌入与其邻居的嵌入已经相似时。同时作者提出了新的度量方法,对这两种情况进行量化衡量,并将其整合到自适应层模块中。实验表明,允许特定节点的聚合度比目前的GNN有显著优势。
AAAI 2021 论文推荐
DialogBERT: Discourse-Aware Response Generation via Learning to Recover and Rank Utterances
论文链接: https://www.aminer.cn/pub/5fca0ff891e011654d99e762/?conf=aaai2021
推荐理由:最近,预训练语言模型的进展大大改善了神经反应生成。然而,现有的方法通常将对话语境看作是一个线性的令牌序列,并通过令牌级的自注意力机制来学习生成下一个词。这样的令牌级编码阻碍了对语句间话语级连贯性的探索。本文介绍的DialogBERT是一种新型的对话响应生成模型,改善了之前基于PLM的对话模型。DialogBERT采用了分层的Transformer架构。为了有效地捕捉语句间的话语级连贯性,类比于原有的BERT训练作者提出了两个训练目标,包括掩盖语句回归和分布式语句顺序排序。实验结果表明,作者的方法在定量评价上明显优于BART和DialoGPT等基线。同时,人工评价表明,DialogBERT产生的语言连贯性更强、信息量更大、更像人的反应,较基线有明显优势。
Exploring the Vulnerability of Deep Neural Networks: A Study of Parameter Corruption
论文链接: https://www.aminer.cn/pub/5ee3526a91e011cb3bff72fc/?conf=aaai2021
推荐理由:作者认为,模型参数的脆弱性对模型鲁棒性和泛化研究具有至关重要的价值,但人们对这一问题的研究很少。在这项工作中,作者提出了一个指标来衡量神经网络参数的鲁棒性,即通过参数损坏以利用其脆弱性。所提出的指标描述了参数损坏下非平凡最坏情况下的最大损失变化。同时,作者给出了一种基于梯度的估计方法,它比随机破坏试验(random corruption trials)要有效得多,因为随机腐败试验很难引起最坏的精度下降。此外,作者还通过所提出的抗对抗性破坏训练(adversarial corruption-resistant training)对模型进行相应增强,不仅提高了参数的鲁棒性,还能有效对精度进行提升。
Adversarial Language Games for Advanced Natural Language Intelligence
论文链接: https://www.aminer.cn/pub/5dc29a843a55acf4d3a90989/?conf=aaai2021
推荐理由:对抗性游戏(adversarial games)在各种棋牌游戏和电子体育游戏等方面已经得到了深入的研究,但在自然语言处理方面,这种对抗性游戏还是空白领域。由于自然语言本质上是一种交互式游戏,作者提出了一种名为Adversarial Taboo的实用挑战性游戏,在这个游戏中,攻击者和防御者通过连续的自然语言交互进行竞争。攻击者的任务是诱导防御者说出一个防御者看不见的目标词,而防御者的任务是在被攻击者诱导之前检测出目标词。在Adversarial Taboo中,成功的攻击者必须隐藏自己的意图,巧妙地诱导防守者,而竞争性的防守者则必须小心翼翼地说出话语,并推断攻击者的意图。为了实例化游戏,作者创建了一个游戏环境和竞争平台。同时,对几种基线攻击和防御策略的充分试验和实证研究,皆得到了具有前景的结果。
Reinforced Multi-Teacher Selection for Knowledge Distillation
论文链接: https://www.aminer.cn/pub/5fd7354291e011efa3cf5dde/?conf=aaai2021
推荐理由:在自然语言处理(NLP)任务中,推理速度慢、GPU使用量巨大仍然是生产中应用预训练深度模型的瓶颈。作为一种流行的模型压缩方法,知识提炼(knowledge distillation)将知识从一个或多个大型(教师)模型转移到一个小型(学生)模型中。当提炼中有多个教师模型时,当前最先进的方法会在整个提炼中给教师模型分配一个固定的权重。此外,现有的大多数方法都给每个教师模型分配了相等的权重。在本文中,作者观察到,由于训练实例的复杂性和学生模型能力的差异,对教师模型进行差异化学习可以使学生模型提炼的性能更好。因此,作者系统地开发了一种强化方法,针对不同的训练实例动态地给教师模型分配权重,以优化学生模型的性能。
订阅了解更多论文信息,定制您的个人科研动态信息流:https://www.aminer.cn/user/notification?f=mt