ICML 2016的录用论文列表已经发布,Accepted Papers,一起交流下这个会议上哪些论文特别值得关注,代表未来的研究热点和重点。
作者:魏秀参
链接:https://www.zhihu.com/question/45716405/answer/105619854
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
链接:https://www.zhihu.com/question/45716405/answer/105619854
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
近期一直关注深度学习的研究和发展,因此下面八篇文章均涉及DL:
- Understanding and Improving Convolutional Neural Networks via Concatenated Rectified Linear Units (http://jmlr.org/proceedings/papers/v48/shang16.pdf):这篇文章出自U. Michigan,以及著名的NEC和Oculus VR。作者受到自己对CNN可视化发现的启发,设计了一种新的激活函数,即concatenated ReLU (CReLU),在ImageNet等数据上不仅能取得更好结果,同时所需参数也可大幅缩减。
- Noisy Activation Functions (http://jmlr.org/proceedings/papers/v48/gulcehre16.pdf):Bengio作品。为解决传统激活函数的「饱和效应」(也称「梯度弥散」现象),作者提出在梯度饱和部分加入合适的噪声以解决先前的优化难题。如此“反人类”的做法却取得了较好的泛化效果。
- Learning End-to-end Video Classification with Rank-Pooling (http://jmlr.org/proceedings/papers/v48/fernando16.pdf):先前在CNN中对video特征进行pooling的方法无异于max和average,该文提出了一种新的rank-pooling方法作为内嵌优化来学习如何更有效的将时序信息encode到最终特征中去。
- Large-Margin Softmax Loss for Convolutional Neural Networks (http://jmlr.org/proceedings/papers/v48/liud16.pdf)提出了一种新型基于「大间隔」的softmax loss。
- Augmenting Supervised Neural Networks with Unsupervised Objectives for Large-scale Image Classification (http://jmlr.org/proceedings/papers/v48/zhangc16.pdf):通过构建CNN网络的“镜像网络”来「无监督」的重建图像,进而增强「监督」网络的判别能力。
- Unsupervised Deep Embedding for Clustering Analysis (http://jmlr.org/proceedings/papers/v48/xieb16.pdf):RBG作品。DL版本的聚类。
- Learning Convolutional Neural Networks for Graphs (http://jmlr.org/proceedings/papers/v48/niepert16.pdf):图结构在机器学习中举足轻重,本文提出可以利用CNN来学习任意图结构。(不知会不会在graph based learning或mining领域引起轩然大波。)
- Deep Speech 2 : End-to-End Speech Recognition in English and Mandarin (http://jmlr.org/proceedings/papers/v48/amodei16.pdf):来自Baidu的一篇系统论文。工业界朋友可以重点参考,其中介绍了很多语音系统实现方法和技巧。
benchmarking deep rl
http://arxiv.org/abs/1604.06778那篇,算是对RL在连续控制领域做了一个不错的overview,并且有code:
https://github.com/rllab/rllab 放出。重点关注一下(以及论文的作者)
- reinforce http://www-anw.cs.umass.edu/~barto/courses/cs687/williams92simple.pdf
- tnpg
- trpo http://arxiv.org/abs/1502.05477
我们提出了一个基于Bernoulli mixture的新颖的multi-label classification方法,欢迎关注和讨论。论文在
http://www.chengli.io/publications/li2016conditional.pdf
hopefully 成为题主所说的未来热点 : )
======
更新:
我们刚刚发布了CBM论文对应的代码: https://github.com/cheng-li/pyramid
代码的说明请见: https://github.com/cheng-li/pyramid/wiki/CBM
hopefully 成为题主所说的未来热点 : )
======
更新:
我们刚刚发布了CBM论文对应的代码: https://github.com/cheng-li/pyramid
代码的说明请见: https://github.com/cheng-li/pyramid/wiki/CBM