AMiner 会议论文推荐第十四期

AMiner平台由清华大学计算机系研发，拥有我国完全自主知识产权。平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱，提供学者评价、专家发现、智能指派、学术地图等科技情报专业化服务。系统2006年上线，吸引了全球220个国家/地区1000多万独立IP访问，数据下载量230万次，年度访问量超过1100万，成为学术搜索和社会网络挖掘研究的重要数据和实验平台。

IJCAI 2020 论文推荐

Learning from the Scene and Borrowing from the Rich: Tackling the Long Tail in Scene Graph Generation

尽管近年来在场景图生成方面取得了巨大的进展，但其在对象关系中的长尾分布仍然是一个充满挑战和困扰的问题。现有方法主要依靠外部知识或统计偏差信息来缓解这一问题。
在本文中，作者从另外两个方面解决这个问题：（1）场景-对象交互，旨在通过加性注意机制从场景中学习特定知识；（2）长尾知识转移，试图将从头部学到的丰富知识转移到尾部。
在基准数据集Visual Genome上对三个任务进行的大量实验表明，作者的方法优于当前最先进的竞争对手。
论文链接：https://www.aminer.cn/pub/5ee8986891e011e66831c322?conf=ijcai2020
会议链接：https://www.aminer.cn/conf/ijcai2020


NeurASP: Embracing Neural Networks into Answer Set Programming
作者提出了NeurASP，一个通过拥抱神经网络对答案集程序进行的简单扩展。通过将神经网络输出作为答案集程序中原子事实的概率分布，NeurASP提供了一种简单有效的方法来集成子符号计算和符号计算。
作者演示了NeurASP如何在符号计算中利用预训练的神经网络，以及如何通过在答案集编程中应用符号推理来改善神经网络的感知结果。而且，NeurASP可以利用ASP规则更好地训练神经网络，使神经网络不仅可以从数据的隐式关联中学习，还能从规则表达的显式复杂语义约束中学习。
论文地址：https://www.aminer.cn/pub/5ef96b048806af6ef27720c7?conf=ijcai2020
会议地址：https://www.aminer.cn/conf/ijcai2020



Inferring Degrees from Incomplete Networks and Nonlinear Dynamics
从观察到的数据中推断复杂网络的拓扑特征对于理解从Internet和Internet到生物网络和社交网络的网络系统的动态行为至关重要。先前的研究通常集中在基于结构的估计来推断网络的大小、度分布、平均度等。几乎没有工作试图从采样的诱导图中估计每个顶点的具体度数，这使我们无法测量蛋白质网络中节点和社会网络中影响者的杀伤力。
对于微小的采样诱导图，当前的方法会严重失败，并且需要特定的采样方法和较大的样本量。这些方法忽略了表示网络系统动力学行为的顶点状态信息，例如物种的生物量或基因的表达，这对于程度估计很有用。作者开发了一个使用采样拓扑和顶点状态信息来推断各个顶点度数的框架来填补这一空白。作者将平均场理论与组合优化相结合，以学习顶点度。
在具有各种动态性的真实网络上的实验结果表明，作者的框架可以产生可靠的程度估计，并通过用估计程度替换采样程度来显着改善现有的链接预测方法。
论文链接：https://www.aminer.cn/pub/5ea16b3491e011fa08b8fb55?conf=ijcai2020
会议链接：https://www.aminer.cn/conf/ijcai2020

NeurIPS 2020 论文推荐

Theory-Inspired Path-Regularized Differential Network Architecture Search

尽管差分架构搜索(DARTS)具有较高的搜索效率，但它经常选择以跳转连接为主的网络架构，导致性能下降。然而，关于这个问题的理论认识仍然缺乏，阻碍了原则上更先进方法的发展。
在这项工作中，作者通过理论上分析各种类型的操作（例如卷积，跳过连接和归零操作，以进行网络优化。作者证明了具有更多跳过连接的架构可以比其他候选架构收敛得更快，因此被DARTS选中。该结果首次从理论上明确揭示了跳过连接对快速网络优化的影响及其相对于DARTS中其他类型操作的竞争优势。
然后，作者提出了一种受理论启发的路径正则化DARTS，它由两个关键模块组成：（i）为避免每个操作之间的不公平竞争而为每个操作引入的差分组结构的稀疏二进制门；（ii）一个用于激发搜索探索的路径深度正则化，用于深层架构的搜索探索，正如作者的理论所示，深层架构的收敛速度通常比浅层架构慢，并且在搜索过程中并未得到很好的探索。图像分类任务的实验结果证明了其优势。
论文链接：https://www.aminer.cn/pub/5efcac4091e0115203245718?conf=neurips2020
会议链接：https://www.aminer.cn/conf/neurips2020




Evolving Normalization-Activation Layers

归一化层和激活函数是深度神经网络中的关键组件，它们经常相互共处。作者没有将它们分开设计，而是将它们统一到一个计算图中，并从低级基元开始演化其结构。作者的层搜索算法导致EvoNorms的发现，EvoNorms是超越现有设计模式的一组新的归一化-激活层。这些层中的几个层具有独立于批量统计的特性。
作者的实验表明，EvoNorms不仅在包括ResNets，MobileNets和EfficientNets在内的各种图像分类模型上表现出色，而且还可以很好地转移到Mask R-CNN进行实例分割和BigGAN进行图像合成，在很多情况下明显优于基于BatchNorm和GroupNorm的层。

论文链接：https://www.aminer.cn/pub/5e8da0c991e011f2de583996?conf=neurips2020
会议链接：https://www.aminer.cn/conf/neurips2020





AdaShare: Learning What To Share For Efficient Deep Multi-Task Learning

多任务学习是计算机视觉中一个开放且具有挑战性的问题。使用深度神经网络进行多任务学习的典型方法是通过共享所有初始层并在特设点分支的手工方案，或者通过使用具有附加功能共享/融合机制的独立任务特定网络。
与现有方法不同，作者提出了一种称为AdaShare的自适应共享方法，它可以决定在哪些任务中共享什么，以实现最佳的识别精度，同时考虑到资源效率。具体来说，作者的主要思想是通过特定任务的策略来学习共享模式，该策略有选择地选择针对多任务网络中的给定任务执行哪些层。作者使用标准的反向传播，结合网络权重有效地优化了特定任务的策略。
在三个具有挑战性和多样化的基准数据集上进行的实验很好地证明了作者的方法与最先进的方法相比的有效性。
论文链接：https://www.aminer.cn/pub/5de4e0b73a55ac2224ba532e?conf=neurips2020
会议链接：https://www.aminer.cn/conf/neurips2020