源码 论文_2019年顶级机器学习和深度学习研究论文和源码分享总结

2019年的最后一个月里面我们收集了许多有关先进机器和深度学习研究的文章以及其开源代码，希望对大家有所帮助。

Contrastive Representation Distillation

本文在模型蒸馏领域利用对比目标族来捕获相关性和高阶输出相关性。它们在本文中被改编成从一个神经网络到另一个神经网络的知识提取。

本文考虑了三个阶段：

• 模型压缩
• 将数据从一种格式(比如RGB)转移到另一种格式(例如深度)
• 将一组网络精简成一个网络

对比学习的主要思想是在一定的度量空间内学习一个接近正对的表示，同时去掉负对之间的表示。

论文地址：

https://arxiv.org/pdf/1910.10699.pdf

源码地址：

https://github.com/HobbitLong/RepDistiller

Network Pruning via Transformable Architecture Search

这是一篇在网络剪枝领域的论文。提出了将神经网络搜索直接应用于具有灵活信道和层大小的网络。最小化剪枝网络的损失有助于学习信道的数量。

剪枝网络的特征映射由K个特征映射片段组成，这些片段基于概率分布进行采样。损失被反向传播到网络权重和参数化分布。

本文提出的修剪方法分为三个阶段：