NIPS 2018深度学习论文及代码集锦(2)

[1] Understanding Weight Normalized Deep Neural Networks with Rectified Linear Units

Yixi Xu, Xiao Wang

Purdue University

https://papers.nips.cc/paper/7298-understanding-weight-normalized-deep-neural-networks-with-rectified-linear-units.pdf

这篇文章针对加权正则的深层神经网络给出一种通用框架。该文给出了拉德马赫复杂度的上限。对于某种特殊的加权正则网络，近似误差可以由输出层的L1范数得以控制，并且对应的泛化误差只依赖于网络结构，具体而言即为深度的平方根。

这篇文章的主要贡献如下

不同情况的复杂度下限为

---

              我是分割线

---

[2] Learning Deep Disentangled Embeddings With the F-Statistic Loss

Karl Ridgeway, Michael C. Mozer

University of Colorado and Sensory, Inc.

https://papers.nips.cc/paper/7303-learning-deep-disentangled-embeddings-with-the-f-statistic-loss.pdf

深层嵌入方法旨在发现域中的表示，进而学习域的类别结构，并且支持少样本学习。解构方法旨在学习组合或者因子结构。这篇文章将两种方法结合起来，提出一种新的方法。这篇文章基于F统计量提出一种新的损失函数，可以分离出两个及以上的分布。这种方法可以确保不同的类别在嵌入维度的子集上可以很好的分割开来，这种嵌入对少样本学习比较有用。由于不需要在所有维度上可分，这种方法可以发现解构表示。

几种方法的效果对比如下

代码地址

https://github.com/kridgeway/f-statistic-loss-nips-2018

---

               我是分割线

---

[3] Deep Defense: Training DNNs with Improved Adversarial Robustness

Ziang Yan, Yiwen Guo, Changshui Zhang

Tsinghua University,  Intel Labs China

https://papers.nips.cc/paper/7324-deep-defense-training-dnns-with-improved-adversarial-robustness.pdf

这篇文章提出一种新的训练策略，该策略的核心是将基于对抗扰动的正则项融入到分类目标中，进而可以使得模型能够通过学习来抵抗潜在的攻击。这种优化问题能够像递归网络进行训练。

几种方法的效果对比如下

不同参数的影响如下

代码地址

https://github.com/ZiangYan/deepdefense.pytorch

---

             我是分割线

---

[4] Deep Neural Nets with Interpolating Function as Output Activation

Bao Wang, Zhen Li, Zuoqiang Shi, Xiyang Luo, Wei Zhu, Stanley J. Osher

University of California, HKUST, Tsinghua University, Duke University

https://papers.nips.cc/paper/7355-deep-neural-nets-with-interpolating-function-as-output-activation.pdf

这篇文章将深度神经网络中的输出层中的softmax函数替换为插值函数，并且针对这种结构提出端到端的训练和测试算法。插值函数相对softmax函数具有一些优势，比如可以结合深层学习和流形学习。另外，这种方法可以更好地用于少样本学习，还可以在很多网络上显著地提高泛化准确率。

训练及测试过程如下

其中WNLL为weighted nonlocal Laplacian，这就是本文的核心。

训练过程伪代码如下

测试过程伪代码如下

不同方法的效果对比如下

不同方法的泛化误差对比如下

不同方法的误差对比如下

代码地址

https://github.com/BaoWangMath/DNN-DataDependentActivation

---

               我是分割线

---

[5] FishNet: A Versatile Backbone for Image, Region, and Pixel Level Prediction

Shuyang Sun, Jiangmiao Pang, Jianping Shi, Shuai Yi, Wanli Ouyang

The University of Sydney, SenseTime Research, Zhejiang University

https://papers.nips.cc/paper/7356-fishnet-a-versatile-backbone-for-image-region-and-pixel-level-prediction.pdf

这篇文章设计了一种鱼样的网络，FishNet。在FishNet中，所有像素的信息都得以保持并且完善，进而用于最终的任务。FishNet 在COCO Detection 2018 challenge中表现突出。

ResNet和FishNet的部分区别图示如下

FishNet整体结构概览如下

几种块的结构如下

几种方法的效果对比如下

几种方法的参数量和误差对比如下

几种方法在图像分割和目标检测任务的效果对比如下

其中Mask R-CNN对应的论文为Mask r-cnn， ICCV 2017

FPN对应的论文为Feature pyramid networks for object detection，CVPR 2017

代码地址

https://github.com/kevin-ssy/FishNet

---

              我是分割线

---

您可能感兴趣