ICML 2016上值得关注的论文

ICML 2016的录用论文列表已经发布，Accepted Papers，一起交流下这个会议上哪些论文特别值得关注，代表未来的研究热点和重点。

作者：魏秀参
链接：https://www.zhihu.com/question/45716405/answer/105619854
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

近期一直关注深度学习的研究和发展，因此下面八篇文章均涉及DL：

1. Understanding and Improving Convolutional Neural Networks via Concatenated Rectified Linear Units (http://jmlr.org/proceedings/papers/v48/shang16.pdf)：这篇文章出自U. Michigan，以及著名的NEC和Oculus VR。作者受到自己对CNN可视化发现的启发，设计了一种新的激活函数，即concatenated ReLU (CReLU)，在ImageNet等数据上不仅能取得更好结果，同时所需参数也可大幅缩减。
   
2. Noisy Activation Functions (http://jmlr.org/proceedings/papers/v48/gulcehre16.pdf)：Bengio作品。为解决传统激活函数的「饱和效应」（也称「梯度弥散」现象），作者提出在梯度饱和部分加入合适的噪声以解决先前的优化难题。如此“反人类”的做法却取得了较好的泛化效果。
3. Learning End-to-end Video Classification with Rank-Pooling (http://jmlr.org/proceedings/papers/v48/fernando16.pdf)：先前在CNN中对video特征进行pooling的方法无异于max和average，该文提出了一种新的rank-pooling方法作为内嵌优化来学习如何更有效的将时序信息encode到最终特征中去。
4. Large-Margin Softmax Loss for Convolutional Neural Networks (http://jmlr.org/proceedings/papers/v48/liud16.pdf)提出了一种新型基于「大间隔」的softmax loss。
   
5. Augmenting Supervised Neural Networks with Unsupervised Objectives for Large-scale Image Classification (http://jmlr.org/proceedings/papers/v48/zhangc16.pdf)：通过构建CNN网络的“镜像网络”来「无监督」的重建图像，进而增强「监督」网络的判别能力。
   
6. Unsupervised Deep Embedding for Clustering Analysis (http://jmlr.org/proceedings/papers/v48/xieb16.pdf)：RBG作品。DL版本的聚类。
   
7. Learning Convolutional Neural Networks for Graphs (http://jmlr.org/proceedings/papers/v48/niepert16.pdf)：图结构在机器学习中举足轻重，本文提出可以利用CNN来学习任意图结构。（不知会不会在graph based learning或mining领域引起轩然大波。）
   
8. Deep Speech 2 : End-to-End Speech Recognition in English and Mandarin (http://jmlr.org/proceedings/papers/v48/amodei16.pdf)：来自Baidu的一篇系统论文。工业界朋友可以重点参考，其中介绍了很多语音系统实现方法和技巧。
   

可以很容易发现，ICML'16中涉及DL/NN的文章，要么解决了DL中非常fundamental的问题，如提出新的activation function或pooling layer；要么就是用DL解决了很fundamental的任务，如clustering，graph learning和unsupervised learning；要么就是很具实践指导性的Deep Speech 2。鲜有非常CV口味的应用文章，也许这就是不同background对DL不同的喜好吧。

benchmarking deep rl http://arxiv.org/abs/1604.06778那篇，算是对RL在连续控制领域做了一个不错的overview，并且有code: https://github.com/rllab/rllab 放出。重点关注一下（以及论文的作者）

• reinforce http://www-anw.cs.umass.edu/~barto/courses/cs687/williams92simple.pdf
• tnpg
• trpo http://arxiv.org/abs/1502.05477

估计求解方法。值得去debug一下。可以结合 OpenAI Gym 来simulation。

我们提出了一个基于Bernoulli mixture的新颖的multi-label classification方法，欢迎关注和讨论。论文在 http://www.chengli.io/publications/li2016conditional.pdf
hopefully 成为题主所说的未来热点 : )
======
更新:
我们刚刚发布了CBM论文对应的代码: https://github.com/cheng-li/pyramid
代码的说明请见: https://github.com/cheng-li/pyramid/wiki/CBM