ANN
文章平均质量分 83
Kylin-Xu
A postdoc in the NYU Multimedia and Visual Computing Lab.
展开
-
DeepLearnToolbox_NN notes
DeepLearnToolbox usage:matlab->set path->add with subfloders DeepLearnToolbox_NN (collated According to the function called order)Contentsex1 vanilla(香草) neural netex2 neur原创 2013-12-12 11:53:15 · 4154 阅读 · 1 评论 -
UFLDL Tutorial_Working with Large Images
Feature extraction using convolutionContents [hide]1 Overview2 Fully Connected Networks3 Locally Connected Networks4 ConvolutionsOverviewIn the previous e转载 2013-12-12 20:36:24 · 2117 阅读 · 0 评论 -
DeepLearnToolbox_readme
DeepLearnToolboxA Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data. It is inspired by the human br原创 2013-12-11 22:43:39 · 1805 阅读 · 0 评论 -
DL history (1)
1981 年的诺贝尔医学奖,颁发给了 David Hubel 和 Torsten Wiesel,以及 Roger Sperry。前两位的主要贡献,是 “发现了视觉系统的信息处理”[1]。1958 年,David Hubel 和 Torsten Wiesel 在 John Hopkins University,研究瞳孔区域与大脑皮层神经元的对应关系。他们在猫的后脑头骨上,开了一个转载 2013-12-11 13:43:12 · 909 阅读 · 0 评论 -
Deep Learning 基本思想和方法
Deep Learning 基本思想和方法实际生活中,人们为了解决一个问题,如对象的分类(对象可是是文档、图像等),首先必须做的事情是如何来表达一个对象,即必须抽取一些特征来表示一个对象,如文本的处理中,常常用词集合来表示一个文档,或把文档表示在向量空间中(称为VSM模型),然后才能提出不同的分类算法来进行分类;又如在图像处理中,我们可以用像素集合来表示一个图像,后来人们提出了新的转载 2013-12-10 20:34:55 · 800 阅读 · 0 评论 -
Deep Learning 应用实例
Deep Learning 应用实例1、计算机视觉。ImageNet Classification with Deep Convolutional Neural Networks, Alex Krizhevsky, Ilya Sutskever, Geoffrey E Hinton, NIPS 2012.Learning Hierarchical Features fo转载 2013-12-10 21:00:36 · 2694 阅读 · 0 评论 -
最近看过的部分Deep Learning论文
最近看过的部分Deep Learning论文A Fast Learning Algorithm for Deep Belief Nets (2006)- 首次提出layerwise greedy pretraining的方法,开创deep learning方向。layerwise pretraining的Restricted Boltzmann Machine (RBM)堆叠起转载 2013-12-10 21:03:15 · 1068 阅读 · 0 评论 -
【面向代码】学习 Deep Learning(四) Stacked Auto-Encoders(SAE)
今天介绍的呢是DL另一个非常重要的模型:SAE把这个放在最后来说呢,主要是因为在UFLDL tutorial 里已经介绍得比较详细了,二来代码非常简单(在NN的基础之上)先放一张autoencoder的基本结构:基本意思就是一个隐藏层的神经网络,输入输出都是x,属于无监督学习==========================================转载 2013-12-12 22:09:37 · 2372 阅读 · 0 评论 -
DeepLearnToolbox_SAE notes
Contentsex1 train a 100 hidden unit SDAE and use it to initialize a FFNNex2 train a 100-100 hidden unit SDAE and use it to initialize a FFNNfunction test_example_SAEload mnist_uin原创 2013-12-13 21:15:08 · 2309 阅读 · 1 评论 -
Convolutional Neural Networks卷积神经网络
Convolutional Neural Networks卷积神经网络 卷积神经网络是人工神经网络的一种,已成为当前语音分析和图像识别领域的研究热点。它的权值共享网络结构使之更类似于生物神经网络,降低了网络模型的复杂度,减少了权值的数量。该优点在网络的输入是多维图像时表现的更为明显,使图像可以直接作为网络的输入,避免了传统识别算法中复杂的特征提取和数据重建过程。卷积网络是为识别二维转载 2013-12-15 15:21:28 · 1725 阅读 · 0 评论 -
Neural Networks code
Marc'Aurelio Ranzato (Google)’s Neural Networks code.Deep Learning Methods fo VisionCVPR 2012 Tutorial http://cs.nyu.edu/~fergus/tutorials/deep_learning_cvpr12/ContentsCOMPUTE ER原创 2013-12-28 21:02:56 · 1425 阅读 · 0 评论 -
DeepLearnToolbox_CNN notes
Preliminaries: 1."Notes on Convolutional Neural Networks"2."Gradient-based learning applied to document recognition"Contentsex1 Train a 6c-2s-12c-2s Convolutional neural ne原创 2013-12-17 17:24:15 · 2597 阅读 · 6 评论 -
DeepLearnToolbox_DBN notes
Contentsex1 train a 100 hidden unit RBM and visualize its weightsex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNfunction test_example_DBNload mnist_uint原创 2013-12-20 20:02:11 · 3316 阅读 · 2 评论 -
单层网络模型下对无监督特征学习算法的分析
翻译 2014-01-13 20:51:35 · 1129 阅读 · 0 评论 -
UFLDL Tutorial_Linear Decoders with Autoencoders
Linear DecodersSparse Autoencoder RecapIn the sparse autoencoder, we had 3 layers of neurons: an input layer, a hidden layer and an output layer. In our previous description of autoencod转载 2013-12-12 20:14:23 · 1402 阅读 · 1 评论 -
UFLDL Tutorial_Building Deep Networks for Classification
Self-Taught Learning to Deep NetworksIn the previous section, you used an autoencoder to learn features that were then fed as input to a softmax or logistic regression classifier. In that meth转载 2013-12-12 20:05:31 · 2852 阅读 · 0 评论 -
UFLDL Tutorial_Self-Taught Learning and Unsupervised Feature Learning
Self-Taught LearningContents [hide]1 Overview2 Learning features3 On pre-processing the data4 On the terminology of unsupervised feature learningOverviewA转载 2013-12-12 19:55:05 · 1993 阅读 · 0 评论 -
UFLDL Tutorial_Sparse Autoencoder
Neural NetworksConsider a supervised learning problem where we have access to labeled training examples (x(i),y(i)). Neural networks give a way of defining a complex, non-linear form of hypo转载 2013-12-12 15:29:19 · 2083 阅读 · 0 评论 -
UFLDL Tutorial_Vectorized implementation
VectorizationWhen working with learning algorithms, having a faster piece of code often means that you'll make progress faster on your project. For example, if your learning algorithm takes转载 2013-12-12 15:44:16 · 3038 阅读 · 0 评论 -
Deep Learning 实战教程
Deep Learning 实战教程本文包含中英翻译,显示:中文 English引言:神经网络(Neural Network)与支持向量机(Support Vector Machines,SVM)是统计学习的代表方法。可以认为神经网络与支持向量机都源自于感知机(Perceptron)。感知机是1958年由Rosenblatt发明的线性分类模型。感知机对线转载 2013-12-11 13:02:39 · 2115 阅读 · 0 评论 -
Deep Learning 算法简介
Deep Learning 算法简介深度(Depth)从一个输入中产生一个输出所涉及的计算可以通过一个流向图(flow graph)来表示:流向图是一种能够表示计算的图,在这种图中每一个节点表示一个基本的计算并且一个计算的值(计算的结果被应用到这个节点的孩子节点的值)。考虑这样一个计算集合,它可以被允许在每一个节点和可能的图结构中,并定义了一个函数族。输入节点没有孩子,输出转载 2013-12-10 20:46:38 · 1321 阅读 · 0 评论 -
UFLDL Tutorial_Softmax Regression
Softmax RegressionContents [hide]1 Introduction2 Cost Function3 Properties of softmax regression parameterization4 Weight Decay5 Relationship to Logistic Regression6转载 2013-12-12 16:18:48 · 3335 阅读 · 0 评论 -
UFLDL Tutorial_Sparse Coding
Sparse CodingSparse CodingSparse coding is a class of unsupervised methods for learning sets of over-complete bases to represent data efficiently. The aim of sparse coding is to find a set转载 2013-12-12 21:55:03 · 2709 阅读 · 0 评论 -
UFLDL Tutorial_ICA Style Models
Independent Component AnalysisIntroductionIf you recall, in sparse coding, we wanted to learn an over-complete basis for the data. In particular, this implies that the basis vectors that转载 2013-12-12 21:57:33 · 1287 阅读 · 0 评论 -
【面向代码】学习 Deep Learning(二)Deep Belief Nets(DBNs)
【面向代码】学习 Deep Learning(二)Deep Belief Nets(DBNs)最近一直在看Deep Learning,各类博客、论文看得不少但是说实话,这样做有些疏于实现,一来呢自己的电脑也不是很好,二来呢我目前也没能力自己去写一个toolbox只是跟着Andrew Ng的UFLDL tutorial 写了些已有框架的代码(这部分的代码见github)转载 2013-12-12 22:07:53 · 1705 阅读 · 8 评论 -
【面向代码】学习 Deep Learning(三)Convolution Neural Network(CNN)
今天是CNN的内容啦,CNN讲起来有些纠结,你可以事先看看convolution和pooling(subsampling),还有这篇:tornadomeet的博文下面是那张经典的图:=================================================================================================转载 2013-12-12 22:08:55 · 1688 阅读 · 2 评论 -
【面向代码】学习 Deep Learning(一)Neural Network
最近一直在看Deep Learning,各类博客、论文看得不少但是说实话,这样做有些疏于实现,一来呢自己的电脑也不是很好,二来呢我目前也没能力自己去写一个toolbox只是跟着Andrew Ng的UFLDL tutorial 写了些已有框架的代码(这部分的代码见github)后来发现了一个matlab的Deep Learning的toolbox,发现其代码很简单,感觉比较适转载 2013-12-11 15:22:53 · 1511 阅读 · 0 评论 -
Deep Learning 学习资料
深度学习 Deep Learning 学习资料汇编 (持续更新中)。欢迎补充。入门阅读deep learning较全面的入门介绍浅谈Deep Learning的基本思想和方法机器学习——深度学习(Deep Learning)deep learning tutorials一篇blog:deep learning2,3一些论文介绍转载 2013-12-11 13:49:54 · 1159 阅读 · 0 评论 -
Deep Learning 前世今生
Deep Learning 前世今生深度学习是机器学习研究中的一个新的领域,其动机在于建立、模拟人脑进行分析学习的神经网络,它模仿人脑的机制来解释数据,例如图像,声音和文本。深度学习是无监督学习的一种。深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征,以发现数据的分布式特征表示。转载 2013-12-10 15:21:44 · 999 阅读 · 0 评论 -
UFLDL Tutorial_Preprocessing: PCA and Whitening
PCAContents [hide]1 Introduction2 Example and Mathematical Background3 Rotating the Data4 Reducing the Data Dimension5 Recovering an Approximation of the Data6 Number转载 2013-12-12 16:13:03 · 3111 阅读 · 0 评论