深度学习学习资料

原文地址：http://blog.csdn.net/hjimce/article/details/45421595

一、学习计划

1、综合类

(1)收集了各种最新最经典的文献，神经网络的资源列表：https://github.com/robertsdionne/neural-network-papers  里面包含了深度学习领域经典、以及最新最牛逼的算法，如果把这个列表学过一遍，基本已然达到了大神级别。

(2)机器学习学习清单：https://github.com/ujjwalkarn/Machine-Learning-Tutorials/blob/master/README.md  当然也包含了深度学习各种资源教程

(3)2010-2016被引用最多的深度学习论文：https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650716071&idx=1&sn=7aa209732425c6a52536fbb9012a09fd  本人看了一下，感觉很不错，以后就根据这个一篇一篇的啃。

2、计算机视觉

(1)计算机视觉学习清单：https://github.com/kjw0612/awesome-deep-vision  里面包含的都是最经典的深度学习paper。如果把里面的paper都学过一遍，可谓视觉领域的高手高手高高手……

(2)快速搞深度学习图像识别项目，莫过于看识别效果排行榜，找最牛逼的算法搭建起来：http://rodrigob.github.io/are_we_there_yet/build/classification_datasets_results.html#53544c2d3130

3、NLP领域

(1)自然语言学习清单：https://github.com/keonkim/awesome-nlp 从NLP菜鸟到高手的成长之路学习清单

(2)RNN、LSTM等偏向NLP算法类：http://handong1587.github.io/deep_learning/2015/10/09/rnn-and-lstm.html  看起来好像很不错的样子

(3)博客推荐：http://www.wildml.com/  包含了RNN、LSTM、Attention机制等教程，最主要的是讲解的浅显易懂，让我等菜鸟受益匪浅

二、大佬总结

1、调参经验：http://lamda.nju.edu.cn/weixs/project/CNNTricks/CNNTricks.html，里面讲解了深度学习的调参经验总结，很是经典。

2、梯度下降各种变体总结：http://sebastianruder.com/optimizing-gradient-descent/  作者写的非常好，浅显易懂

3、深度学习加速相关优化：https://handong1587.github.io/deep_learning/2015/10/09/acceleration_model_compression.html

ios:https://developer.apple.com/reference/metalperformanceshaders

http://www.mattrajca.com/2016/11/26/speeding-up-tensorflow-with-metal-performance-shaders.html

http://machinethink.NET/blog/

4、深度生成模型浅显易懂博客：http://www.inference.vc/page/4/

5、iPhone移植：http://machinethink.net/blog/

三、训练数据

1、计算机视觉

(1)人脸数据：

A、香港中文大学训练数据集：http://mmlab.ie.cuhk.edu.hk/projects/CelebA.html  

此数据库包含了20w张人脸图片，每张图片标注了5个特征点、以及几十种属性（是否微笑、肤色、发色、性别等属性）

B、68个人脸特征点：http://ibug.doc.ic.ac.uk/resources/facial-point-annotations/

此网站差不多可以下载到3000张，训练数据图片，每张图片标注了68个人脸特征点

C、74个人脸特征点：http://gaps-zju.org/DDE/ 

这个网站包好了1.4w张的人脸训练数据图片，每张图片标注了74个人脸特征点。不过这个数据感觉标注的很不精确

D、性别与年龄训练数据：https://data.vision.ee.ethz.ch/cvl/rrothe/imdb-wiki/

这个网站包含了500k+的人脸性别与年龄训练数据，同时还有文献及代码，对于搞性别年龄预测，资源充足

(2)深度估计、图像分割：

A、RGBD训练数据列表：http://www0.cs.ucl.ac.uk/staff/M.Firman/RGBDdatasets/

2、自然语言

(1)问答系统：https://github.com/karthikncode/nlp-datasets