量子计算 pdf_7 Papers | 谷歌量子霸权论文；13项NLP任务夺冠的小模型ALBERT

机器之心整理

参与：一鸣、杜伟

本周重要论文很多，特别是谷歌的研究非常耀眼，有量子霸权论文和参数小 BERT 很多但性能超 XLNe 的模型 ALBERTt。此外还有北大等的论文。

目录：

1. Gate Decorator: Global Filter Pruning Method for Accelerating Deep Convolutional Neural Networks

2. InterpretML: A Unified Framework for Machine Learning Interpretability

3. ALBERT: A LITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS

4. Language Models as Knowledge Bases?

5. Deep Learning For Symbolic Mathematics

6. Quantum Supremacy Using a Programmable Superconducting Processor

7. Do Massively Pretrained Language Models Make Better Storytellers?

论文 1：Gate Decorator: Global Filter Pruning Method for Accelerating Deep Convolutional Neural Networks

• 作者：Zhonghui You、Kun Yan、Jinmian Ye、Meng Ma、Ping Wang

• 论文链接：https://arxiv.org/abs/1909.08174

摘要：对滤波器进行剪枝是一种最为有效的、用于加速和压缩卷积神经网络的方法。在这篇论文中，来自北大的研究者提出了一种全局滤波器剪枝的算法，名为「门装饰器(gate decorator)」。这一算法可以通过将输出和通道方向的尺度因子(门)相乘，进而改变标准的 CNN 模块。当这种尺度因子被设 0 的时候，就如同移除了对应的滤波器。研究人员使用了泰勒展开，用于估计因设定了尺度因子为 0 时对损失函数造成的影响，并用这种估计值来给全局滤波器的重要性进行打分排序。接着，研究者移除哪些不重要的滤波器。在剪枝后，研究人员将所有的尺度因子合并到原始的模块中，因此不需要引入特别的运算或架构。此外，为了提升剪枝的准