1. Deep Learning课程(由浅入深):
- 一个不错的中文博客: Deep Learning由浅入深.
- UFLDL机器学习教程:UFLDL Tutorial.
- 我们组的一个Deep Learning的比较全面、概括的介绍,视频:Part1,Part2,Slides:PPT.可以短时间内对Deep Learning有比较基本的入门和理解。
- Andrew Ng(吴恩达). Unsupervised Feature Learning and Deep Learning.在线地址,百度网盘下载. 主要侧重基本实验技巧和基本机器学习知识。
- 吴立德.复旦大学深度学习课程.在线地址.百度网盘下载.讲解比较全面易懂,提纲挈领地讲到了各种基础知识。
- Oxford University(牛津大学).Machine Learning Course.在线地址.百度网盘下载.从基本机器学习知识到基本深度结构的理解,非常全面。
- Yann Lecun NYU(纽约大学). Deep Learning Course. 在线地址. 偏重CNN(卷积神经网络)等模块以及深度学习基本原理的理解,有些理论比较难。
- G.E.Hinton. Deep Learning Course. 百度网盘下载.系统的深度学习理论,高度非常高,有些比较不太容易理解,需要多看几遍。
2. Deep Learning学习资料:
- Learning Deep Architectures for AI. 基本的Survey,适合初读。
- Deep.Learning.Bengio. 深度学习全面介绍书籍,包括基础的机器学习和数学知识,适合细读。
- Neural Networks: Trick of the Trade.各种实验技巧,适合当工具书查。
- Deep Learning in Neural Networks: An Overview.深度学习历史的全面搜集,各种相关paper一应俱全,适合当工具书。
- Reducing the Dimensinality of Data with Neural Networks. Hinton06年发表在science上的文章,主要讲了auto-encoder、RBM机和 初始化,字斟句酌,Deep Learning取得突破性的文章,适合细读。
- Deep Learning. Lecun, Bengio, Hinton15年发表在nature上的文章,综合讲了Deep Learning 的方方面面,必须细读。
3. Deep Learning代码库:
- Caffe for Linux&&Windows我们组的caffe Linux/Windows 兼容版本,可以同时在linux和windows下用。
- Caffe.基于C++, 改层和做大型试验比较靠谱。
- Theano. 结构搭建非常方便,不用关注求梯度的过程,适合在小数据集上验证算法。
- Torch.没用过,不过facebook 和google都用这个,应该非常不错。
- TensorFlow.Google 最新发布的二代机器学习系统,还没看过,运算和结构搭建应该都非常快。
4. Deep Learning网站:
- Deep Learning.net. 各种资料都有,不过最近更新比较慢了。
5. Deep Learning Talk:
- Attention.NLP. Bengio在twitter的关于attention的演讲,值得一听。
- What's Wrong with Deep Learning. Yann LeCun 在CVPR2015上的talk,讲了deep learning存在的问题和未来要解决的问题,很不错。
- Hinton剑桥演讲. Hinton老爷子的演讲,有对Deep Learning的反思,凡是Hinton的Paper或演讲都需要至少过三遍以上才能看懂。。。
中国科学技术大学多媒体计算与通信教育部-微软重点实验室
MultiMedia Computing Group