深度学习阅读清单

图书
深度学习，Yoshua Bengio，Ian Goodfellow，Aaron Courville，MIT Press，准备中。
评论文章
代表性学习：评论与新视角，Yoshua Bengio，Aaron Courville，Pascal Vincent，Arxiv，2012。
专题或评论文章 学习人工智能的深层架构 （基础和机器学习趋势，2009）。
深度机器学习 - 人工智能研究的新前沿 - Itamar Arel，Derek C. Rose和Thomas P. Karnowski 的 调查报告。
格雷夫斯，答（2012年）。 用递归神经网络进行监督序列标记（第385卷）。斯普林格。
Schmidhuber，J.（2014）。神经网络的深度学习：概述。75页，850+参考文献，http： //arxiv.org/abs/1404.7828，PDF＆LATEX 源代码和http://www.idsia.ch/~juergen/ deep-learning-overview.html下的完整公共BIBTEX文件 。
LeCun，Yann，Yoshua Bengio和Geoffrey Hinton。“深入的学习。” 自然 521，没有。7553（2015）：436-444。
强化学习
Mnih，Volodymyr，Koray Kavukcuoglu，David Silver，Alex Graves，Ioannis Antonoglou，Daan Wierstra和Martin Riedmiller。“通过深入强化学习玩Atari。” arXiv预印本arXiv：1312.5602 （2013）。
Volodymyr Mnih，Nicolas Heess，Alex Graves，Koray Kavukcuoglu。“ 视觉注意的复发模型 ”ArXiv电子版，2014。
计算机视觉
ImageNet深度卷积神经网络分类，Alex Krizhevsky，Ilya Sutskever，Geoffrey E Hinton，NIPS 2012。
深入卷积，Christian Szegedy，刘伟，杨扬佳，Pierre Sermanet，Scott Reed，Dragomir Anguelov，Dumitru Erhan，Vincent Vanhoucke，Andrew Rabinovich，2014年9月19日。
学习场景标签的分层特征，Clement Farabet，Camille Couprie，Laurent Najman和Yann LeCun，IEEE模式分析和机器智能汇刊，2013。
学习用于视觉识别的卷积特征 Hierachies，Koray Kavukcuoglu，Pierre Sermanet，Y-Lan Boureau，Karol Gregor，MichaëlMathieu和Yann LeCun，神经信息处理系统进展（NIPS 2010），23,2010。
格雷夫斯，亚历克斯等人。 “A novel connectionist system for unconstrained handwriting recognition。” Pattern Analysis and Machine Intelligence，IEEE Transactions on 31.5（2009）：855-868。
Cireşan，DC，Meier，U.，Gambardella，LM，＆Schmidhuber，J.（2010）。 用于手写数字识别的深，大，简单的神经网络。 神经计算， 22（12），3207-3220。
Ciresan，Dan，Ueli Meier和JürgenSchmidhuber。 “用于图像分类的多列深度神经网络”， 计算机视觉和模式识别（CVPR），2012年IEEE会议。IEEE，2012。
Ciresan，D.，Meier，U.，Masci，J.，＆Schmidhuber，J。（2011年7月）。 交通标志分类神经网络委员会。 在 神经网络（IJCNN），2011年国际联合会议上（pp。1918-1921 ）。IEEE。
NLP和言语
“开放文本语义分析的词汇和意义表征的联合学习”，Antoine Bordes，Xavier Glorot，Jason Weston和Yoshua Bengio（2012），第15届国际人工智能和统计学会议（AISTATS）
动态汇集和展开递归自动编码器以进行释义检测。Socher，R.，Huang，EH，Pennington，J.，Ng，AY和Manning，CD（2011a）。在NIPS’2011中。
用于预测情绪分布的半监督递归自动编码器。Socher，R.，Pennington，J.，Huang，EH，Ng，AY和Manning，CD（2011b）。在EMNLP’2011。
MikolovTomáš： 基于神经网络的统计语言模型。博士论文，布尔诺科技大学，2012。
Graves，Alex和JürgenSchmidhuber。“ 使用双向LSTM和其他神经网络架构的帧式音素分类。“ 神经网络 18.5（2005）：602-610。
Mikolov，Tomas，Ilya Sutskever，Kai Chen，Greg S. Corrado和Jeff Dean。 “分布式表达的单词和短语及其组合性 ”，在 神经信息处理系统的进展，第3111-3119页。2013。
K. Cho，B. van Merrienboer，C. Gulcehre，D. Bahdanau，F. Bougares，H. Schwenk，Y. Bengio。 使用RNN编码器 - 解码器来学习用于统计机器翻译的短语表示。EMNLP 2014。
Sutskever，Ilya，Oriol Vinyals和Quoc VV Le。“ 序列学习与神经网络。” 神经信息处理系统的进展。2014年
消除因素和深度变化
Goodfellow，Ian等人。“测量深度网络中的不变性” 。神经信息处理系统进展 22（2009）：646-654。
Bengio，Yoshua等人。“通过深度表现更好地混合。” arXiv预印本arXiv：1207.4404 （2012）。
Xavier Glorot， Antoine Bordes 和 Yoshua Bengio，“ 大规模情绪分类的域适应：深度学习方法”，载于：第二十八届国际机器学习会议论文集（ICML’11），第97-110页，2011年。
转移学习和域名适应
Raina，Rajat等人。“自学教学：从无标签数据转移学习” ，第24届机器学习国际会议论文集。ACM，2007。
Xavier Glorot， Antoine Bordes 和 Yoshua Bengio，“ 大规模情绪分类的域适应：深度学习方法”，载于：第二十八届国际机器学习会议论文集（ICML’11），第97-110页，2011年。
R. Collobert，J.Weston，L.Bottou，M.Karlen，K.Kavukcuoglu和P.Kuksa。 自然语言处理（几乎）从头开始。 Journal of Machine Learning Research，12：2493-2537，2011。
Mesnil，Grégoire等人。“无监督和转移学习挑战：深度学习方法”。 无监督和转移学习研讨会，与ICML一起。2011。
Ciresan，DC，Meier，U。和Schmidhuber，J。（2012年6月）。 用深度神经网络为拉丁文和中文字符转换学习。在 神经网络（IJCNN），在2012年国际联合大会 （第1-6页）。IEEE。
Goodfellow，Ian，Aaron Courville和Yoshua Bengio。“ 大规模特征学习的尖峰和板坯稀疏编码。“ ICML 2012。
实用技巧和指南
“通过防止特征探测器的共同适应改善神经网络。” Hinton，Geoffrey E.等，arXiv预印本arXiv：1207.0580（2012）。
关于深度架构梯度训练的实用建议，Yoshua Bengio，U. Montreal，arXiv报告：1206.5533，计算机科学讲义7700，神经网络：交易技巧第二版，编辑：GrégoireMontavon，GenevièveB. Orr ，Klaus-RobertMüller，2012年。
由Geoffrey Hinton撰写的一本关于培训Restricted Boltzmann Machines的实用 指南。
稀疏编码
通过学习自然图像的稀疏编码，Bruno Olhausen，Nature 1996 发表简单细胞感受野性质。
Kavukcuoglu，Koray，Marc’Aurelio Ranzato和Yann LeCun。“ 稀疏编码算法与应用程序对物体识别的快速推导。“ arXiv预印本arXiv：1010.3467 （2010）。
Goodfellow，Ian，Aaron Courville和Yoshua Bengio。“ 大规模特征学习的尖峰和板坯稀疏编码。“ ICML 2012。
高效的稀疏编码算法。Honglak Lee，Alexis Battle，Raina Rajat和Andrew Y. Ng。在 NIPS 19，2007. PDF
“ 基于过度完备的稀疏编码：VI？采用的策略。“。奥尔斯豪森，布鲁诺A.和戴维J.菲尔德。 Vision research 37.23（1997）：3311-3326。
基础理论与动机
Hinton，Geoffrey E.“确定性Boltzmann学习在加权空间中执行最速下降”， 神经计算 1.1（1989）：143-150。
Bengio，Yoshua和Samy Bengio。“用多层神经网络建模高维离散数据。” Advances in Neural Information Processing Systems 12（2000）：400-406。
Bengio，Yoshua等人。“深层网络的贪婪分层训练。” 神经信息处理系统的进展 19（2007）：153。
Bengio，Yoshua，Martin Monperrus和Hugo Larochelle。“流形结构的非局部估计。” Neural Computation 18.10（2006）：2509-2528。
Hinton，Geoffrey E.和Ruslan R. Salakhutdinov。“用神经网络降低数据的维度”， 科学 313.5786（2006）：504-507。
Marc’Aurelio Ranzato，Y.，Lan Boureau和Yann LeCun。“Sparse feature learning for deep belief networks。” Advances in neural information processing systems 20（2007）：1185-1192。
Bengio，Yoshua和Yann LeCun。“扩大对AI的学习算法”， 大型内核机器 34（2007）。
Le Roux，Nicolas和Yoshua Bengio。“限制 玻尔兹曼机器和深层信念网络的表征能力”， Neural Computation 20.6（2008）：1631-1649。
Sutskever，Ilya和Geoffrey Hinton。“时间 - 内核递归神经网络”， 神经网络 23.2（2010）：239-243。
Le Roux，Nicolas和Yoshua Bengio。“深层信念网络是紧凑型通用逼近器。” 神经计算 22.8（2010）：2192-2207。
Bengio，Yoshua和Olivier Delalleau。“关于深层架构的表现力。” 算法学习理论。斯普林格柏林/海德堡，2011年。
Montufar，Guido F.和Jason Morton。“产品混合物何时含有混合物产品？” arXiv预印本arXiv：1206.0387 （2012）。
蒙图法，圭多，拉斯万帕斯卡努，京仁祖和Yoshua Bengio。“ 关于深度神经网络的线性区域的数量。”arXiv预印本arXiv：1402.1869（2014）。
受监督的Feedfoward神经网络
Manifold Tangent Classifier，Salah Rifai，Yann Dauphin，Pascal Vincent，Yoshua Bengio和Xavier Muller在：NIPS’2011。
“ Sum-Product Networks的判别式学习。“，Gens，Robert和Pedro Domingos，NIPS 2012最佳学生论文。
Goodfellow，I.，Warde-Farley，D.，Mirza，M.，Courville，A.和Bengio，Y。（2013）。 Maxout网络。技术报告，蒙特利尔大学。
Hinton，Geoffrey E.等人。“ 通过防止特征探测器的共同适应改善神经网络。” arXiv预印本arXiv：1207.0580 （2012）。
王斯达和克里斯托弗曼宁。“快速辍学培训” 。第30届国际机器学习会议论文集（ICML-13），第118-126页。2013。
Glorot，Xavier，Antoine Bordes和Yoshua Bengio。“ Deep sparse rectifier networks。”在 第14届国际人工智能与统计学会议论文集中。JMLR W＆CP Volume，vol。15，pp.315-323。2011。
ImageNet深度卷积神经网络分类，Alex Krizhevsky，Ilya Sutskever，Geoffrey E Hinton，NIPS 2012。
大规模深度学习
使用大规模无监督学习构建高级功能 Quoc V. Le，Marc’Aurelio Ranzato，Rajat Monga，Matthieu Devin，Kai Chen，Greg S. Corrado，Jeffrey Dean和Andrew Y. Ng，ICML 2012。
Bengio，Yoshua等人。“ 神经概率语言模型。“ 机器学习创新 （2006）：137-186。具体来说，本文的第3节讨论了异步SGD。
Dean，Jeffrey等人。 “大规模分布式深度网络” ，神经信息处理系统的进展。2012。
经常性网络
训练周期性神经网络，Ilya Sutskever，博士论文，2012。
Bengio，Yoshua，Patrice Simard和Paolo Frasconi。 “利用梯度下降学习长期依赖是困难的。” Neural Networks，IEEE Transactions on 5.2（1994）：157-166。
MikolovTomáš： 基于神经网络的统计语言模型。博士论文，布尔诺科技大学，2012。
Hochreiter，Sepp和JürgenSchmidhuber。 “长期的短期记忆。” Neural computation 9.8（1997）：1735-1780。
Hochreiter，S.，Bengio，Y.，Frasconi，P.，＆Schmidhuber，J。（2001）。 循环网络中的渐变流：学习长期依赖性的困难。
Schmidhuber，J.（1992）。 使用历史压缩原理学习复杂的扩展序列。 神经计算， 4（2），234-242。
Graves，A.，Fernández，S.，Gomez，F.，＆Schmidhuber，J。（2006年6月）。 Connectionist时间分类：用递归神经网络标记未分段的序列数据。在 第23届机器学习国际会议论文集 （第369-376页）中。ACM。
超参数
“机器学习算法的实用贝叶斯优化”，Jasper Snoek，Hugo Larochelle，Ryan Adams，NIPS 2012。
随机搜索超参数优化，James Bergstra和Yoshua Bengio（2012），机器学习研究期刊，13（281-305）。
用于超参数优化的算法，James Bergstra，RémyBardenet，Yoshua Bengio和BalázsKégl在：NIPS’2011,2011。
优化
使用Hessian-Free优化训练深度和复发性神经网络，James Martens和Ilya Sutskever，神经网络：2012年贸易技巧。
Schaul，Tom，Sixin Zhang和Yann LeCun。 “没有更多的Pesky学习率。” arXiv预印本arXiv：1206.1106 （2012）。
Le Roux，Nicolas，Pierre-Antoine Manzagol和Yoshua Bengio。“ Topmoumoute在线自然梯度算法”。 神经信息处理系统（NIPS）。2007年。
Bordes，Antoine，LéonBottou和Patrick Gallinari。“ SGD-QN：谨慎的准牛顿随机梯度下降 ” ，机器学习研究杂志 10（2009）：1737-1754。
Glorot，Xavier和Yoshua Bengio。 “了解训练深度前馈神经网络的难度。” 国际人工智能与统计学会议论文集（AISTATS’10）。人工智能与统计学会。2010。
Glorot，Xavier，Antoine Bordes和Yoshua Bengio。“ 深稀疏整流器网络。“ 第14届国际人工智能与统计学会议论文集。JMLR W＆CP卷。卷。15. 2011年。
“通过Hessian优化深入学习。” Martens，James。第27届国际机器学习会议论文集（ICML）。卷。951. 2010年。
Hochreiter，Sepp和JürgenSchmidhuber。 “Flat minima。” Neural Computation， 9.1（1997）：1-42。
Pascanu，Razvan和Yoshua Bengio。“ 重温深层网络的自然梯度。” arXiv预印本arXiv：1301.3584 （2013）。
Dauphin，Yann N.，Razvan Pascanu，Caglar Gulcehre，Kyunghyun Cho，Surya Ganguli和Yoshua Bengio。“ 识别和攻击高维非凸优化中的鞍点问题。“In Advances in Neural Information Processing Systems ，pp.2933-2941。2014年
无监督特征学习
Salakhutdinov，Ruslan和Geoffrey E. Hinton。 “深玻尔兹曼机器。” 人工智能和统计国际会议论文集。卷。5.第2号。麻省剑桥：麻省理工学院出版社，2009年。
关于深信仰网络的Scholarpedia页面。
深玻尔兹曼机器
深玻耳兹曼机器的有效学习过程，Ruslan Salakhutdinov和Geoffrey Hinton，神经计算2012年8月，24，第8期：1967 - 2006。
Montavon，Grégoire和Klaus-RobertMüller。“ 深玻耳兹曼机器和中心技巧。“ 神经网络：贸易技巧 （2012）：621-637。
Salakhutdinov，Ruslan和Hugo Larochelle。“ 深玻尔兹曼机器的高效学习。“ 人工智能和统计国际会议。2010。
Salakhutdinov，Ruslan。 学习深度生成模型。迪斯。多伦多大学，2009年。
Goodfellow，Ian等人。“ 多预测深玻尔兹曼机器。” 神经信息处理系统的进展。2013。
RBMS
Spike-and-Slab RBM的图像无监督模型，Aaron Courville，James Bergstra和Yoshua Bengio在：ICML’2011
欣顿，杰弗里。 “培训受限玻尔兹曼机器的实用指南。“ 动量 9.1（2010）：926。
自动编码
正规化自动编码器估计当地统计数据，Guillaume Alain，Yoshua Bengio和Salah Rifai，蒙特利尔大学arXiv报告1211.4246,2012
一个生成过程的抽样压缩自动编码器，Salah Rifai，Yoshua Bengio，Yann Dauphin和Pascal Vincent在：ICML’2012，爱丁堡，苏格兰，英国，2012年
合同自动编码器：特征提取期间的显式不变性，Salah Rifai，Pascal Vincent，Xavier Muller，Xavier Glorot和Yoshua Bengio，在：ICML’2011
面部表情识别的变异因素，Salah Rifai，Yoshua Bengio，Aaron Courville，Pascal Vincent和Mehdi Mirza，在：ECCV’2012。
文森特，帕斯卡尔等人。“ 堆叠去噪自动编码器：使用本地去噪标准在深度网络中学习有用的表示。“ 机器学习研究杂志 11（2010）：3371-3408。
文森特，帕斯卡尔。“ 分数匹配和去噪自动编码器之间的联系。” 神经计算 23.7（2011）：1661-1674。
陈敏敏等 “ 用于域适应的边缘化去噪自动编码器。“ arXiv预印本arXiv：1206.4683 （2012）。
杂
ICML 2009学习要点层次结构 网页 有一个 阅读列表。
斯坦福大学的 UFLDL推荐读物。
该 LISA 公开的维基 有一个 阅读清单 和 参考书目。
Geoff Hinton 有 阅读 NIPS 2007教程。
LISA出版物数据库包含 深层架构 类别。
在 Yoshua Bengio的 IFT6266研究生课程中简要介绍 AI，机器学习和 深度学习
Memkite的深度学习阅读列表，http：//memkite.com/deep-learning-bibliography/。

深度学习资源页面， http://www.jeremydjacksonphd.com/?cat=7