Deep Learning 资料汇总

原创 2013年12月03日 22:34:04

Stanford Deep Learning wiki: http://deeplearning.stanford.edu/wiki/index.php/Main_Page


UFLDL Tutorial(英文):http://deeplearning.stanford.edu/wiki/index.php/UFLDL_Tutorial

                                         http://ufldl.stanford.edu/tutorial/index.php/UFLDL_Tutorial              

                                         http://ufldl.stanford.edu/tutorial/                    

UFLDL Tutorial(中文):http://deeplearning.stanford.edu/wiki/index.php/UFLDL%E6%95%99%E7%A8%8B

UFLDL Tutorial Exercise code:https://github.com/dkyang/UFLDL-Tutorial-Exercise

Andrew Ng 教授的两门公开课:

Deep Learning:http://openclassroom.stanford.edu/MainFolder/CoursePage.php?course=DeepLearning

Machine Learning:http://openclassroom.stanford.edu/MainFolder/CoursePage.php?course=MachineLearning


Jeff Dean 2013 @ Stanford

http://i.stanford.edu/infoseminar/dean.pdf

一个对DL能干什么的入门级介绍,主要涉及Google在语音识别、图像处理和自然语言处理三个方向上的一些应用。参《Spanner and Deep Learning》(2013-01-19)

Hinton 2009

A tutorial on Deep Learning

Slides http://videolectures.net/site/normal_dl/tag=52790/jul09_hinton_deeplearn.pdf

Video http://videolectures.net/jul09_hinton_deeplearn/  (3 hours)

从神经网络的背景来分析DL,为什么要有DL说得很清楚。对DL的基本模型结构也说得很清楚。十分推荐

更多Hinton的教程 http://www.cs.toronto.edu/~hinton/nntut.html

斯坦福的Deep Learning公开课(2012)

Samy Bengio, Tom Dean and Andrew Ng

http://openclassroom.stanford.edu/MainFolder/CoursePage.php?course=DeepLearning

教学语言是Matlab。

参2011年的课程CS294A/CS294W  Deep Learning and Unsupervised Feature Learning

更多的斯坦福工作: Deep Learning in Natural Language Processing


NIPS 2009 tutorial

Deep Learning for Natural Language Processing, 2009 tutorial by Ronan Collobert (senna author) 

这个介绍了DL在三个方向上的应用:tagging (parsing), semantic search, concept labeling

Ronan Collobert的Senna是一个c的深度学习实现,只有2000多行代码

ACL 2012 tutorial

Deep Learning for NLP (without Magic) 

http://www.socher.org/index.php/DeepLearningTutorial/DeepLearningTutorial 
by Richard Socher, Yoshua Bengio and Chris Manning 
PDF: http://nlp.stanford.edu/~socherr/SocherBengioManning-DeepLearning-ACL2012-20120707-NoMargin.pdf 

Video: http://www.youtube.com/watch?v=IF5tGEgRCTQ&list=PL4617D0E28A5781B0

Kai Yu’s Tutorial

http://vipl.ict.ac.cn/News/academic-report-tutorial-deep-learning-dr-kai-yu 
On November 26, 2012
Title: “A Tutorial on Deep Learning” 
Abstract: 
In the past 30 years, tremendous progress has been made in building effective classification models. Despite the success, we have to realize that, in major AI challenges, the key bottleneck is not the quality of classifiers but that of features. Since 2006, learning high-level features using deep architectures has become a big wave of new learning paradigms. In recent two years, performance breakthrough was reported in both image and speech recognition tasks, indicating deep learning are not something ignorable. In this talk, I will walk through the recent works and key building blocks, e.g., sparse coding, RBMs, auto-encoders, etc. and list the major research topics, including modeling and computational issues. In the end, I will discuss what might be interesting topics for future research. 
Bio of Dr. Kai Yu: 
余 凯任百度技术副总监,多媒体部负责人,主要负责公司在语音,图像,音频等领域面向互联网和移动应用的技术研发。加盟百度前,余凯博士在美国NEC研究院担 任Media Analytics部门主管(Department Head),领导团队在机器学习、图像识别、多媒体检索、视频监控,以及数据挖掘和人机交互等方面的产品技术研发。此前他曾在西门子公司任Senior Research Scientist。2011年曾在斯坦福大学计算机系客座主讲课程“CS121: 人工智能概论”。他在NIPS, ICML, CVPR, ICCV, ECCV,SIGIR, SIGKDD,TPAMI,TKDE等会议和杂志上发表了70多篇论文,H-index=28,曾担任机器学习国际会议ICML10, ICML11, NIPS11, NIPS12的Area Chair. 2012年他被评为中关村高端领军人才和北京市海聚计划高层次海外人才。 

Slides link: http://pan.baidu.com/share/link?shareid=136269&uk=2267174042

Video link: KaiYu_report.mp4 (519.2 MB) 

Theano Deep Learning Tutorial

这个是实战, 如何用Python实现深度学习

http://deeplearning.net/tutorial/

Code https://github.com/lisa-lab/DeepLearningTutorials 

Survey Papers

很多,不过初学看这两篇应该就够了

Yoshua BengioAaron CourvillePascal Vincent. (2012) Representation Learning: A Review and New Perspectives

Yoshua Bengio (2009). Learning Deep Architectures for AI.

更多


 Deep Learning工具—— Theano

     Theano是deep learning的Python库,要求首先熟悉Python语言和numpy,建议读者先看Theano basic tutorial,然后按照Getting Started 下载相关数据并用gradient descent的方法进行学习。

学习了Theano的基本方法后,可以练习写以下几个算法:

有监督学习:

  1. Logistic Regression - using Theano for something simple
  2. Multilayer perceptron - introduction to layers
  3. Deep Convolutional Network - a simplified version of LeNet5


无监督学习:




deeplearning tutorials: 
http://deeplearning.net/tutorials/ 
http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf 
Restricted boltzmann machine: 
http://deeplearning.net/tutorial/rbm.html 
http://blog.echen.me/2011/07/18/introduction-to-restricted-boltzmann-machines/ 
http://www.csri.utoronto.ca/~hinton/absps/guideTR.pdf 


概率统计教程:

http://www.jdl.ac.cn/user/lyqing/StatLearning/StatlLearning_handout.html



Imagenet classification with deep convolutional neural networks代码:

https://code.google.com/p/cuda-convnet/




版权声明:本文为博主原创文章,未经博主允许不得转载。

深度学习(Deep Learning,DL)参考网站和资料汇总

深度学习(Deep Learning,DL) DL是人工智能的一场革命1第一人(提出者)由加拿大多伦多大学计算机系(Departmentof Computer Science ,University...

Deep Learning(深度学习)资料汇总

Deep Learning(深度学习) ufldl的2个教程(这个没得说,入门绝对的好教程,Ng的,逻辑清晰有练习):一 ufldl的2个教程(这个没得说,入门绝对的好教程,Ng的,逻辑清...

deep learning 资料汇总

Deep Learning(深度学习) ufldl的2个教程(这个没得说,入门绝对的好教程,Ng的,逻辑清晰有练习):一 ufldl的2个教程(这个没得说,入门绝对的好教程,Ng的,逻辑清...

Deep Learning(深度学习)资料汇总

Deep Learning(深度学习) ufldl的2个教程(这个没得说,入门绝对的好教程,Ng的,逻辑清晰有练习):一 ufldl的2个教程(这个没得说,入门绝对的好教程,Ng的,逻辑清...
  • cuclxt
  • cuclxt
  • 2016年05月11日 20:56
  • 2602

深度学习(Deep Learning,DL)参考网站和资料汇总

DL是人工智能的一场革命1第一人(提出者)由加拿大多伦多大学计算机系(Departmentof Computer Science ,University of Toronto) 的教授Geoffrey...
  • soon14
  • soon14
  • 2014年10月15日 10:28
  • 592

机器学习(Machine Learning)与深度学习(Deep Learning)资料汇总

《Brief History of Machine Learning》 介绍:这是一篇介绍机器学习历史的文章,介绍很全面,从感知机、神经网络、决策树、SVM、Adaboost到随机森林、Deep...

【重磅干货整理】机器学习(Machine Learning)与深度学习(Deep Learning)资料汇总

《Brief History of Machine Learning》 介绍:这是一篇介绍机器学习历史的文章,介绍很全面,从感知机、神经网络、决策树、SVM、Adaboost到随机森林、Deep L...

机器学习(Machine Learning)&深度学习(Deep Learning)资料汇总

转自http://www.tuicool.com/articles/JVfMNvV 时间 2015-01-19 13:23:09  数盟 原文  http://dataunion....

机器学习(Machine Learning)&深度学习(Deep Learning)资料汇总

《Brief History of Machine Learning》 介绍:这是一篇介绍机器学习历史的文章,介绍很全面,从感知机、神经网络、决策树、SVM、Adaboost到随机森林、Deep L...

机器学习(Machine Learning)&深度学习(Deep Learning)资料汇总

转载:http://dataunion.org/8463.html?utm_source=tuicool&utm_medium=referral 《Brief History of Machi...
  • SMF0504
  • SMF0504
  • 2016年10月05日 15:43
  • 816
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Deep Learning 资料汇总
举报原因:
原因补充:

(最多只允许输入30个字)