Kylin-Xu的专栏

Deep learning：一(基础知识_1) 出处：http://www.cnblogs.com/tornadomeet 欢迎转载或分享，但请务必声明文章出处。　　前言:　　最近打算稍微系统的学习下deep learing的一些理论知识，打算采用Andrew Ng的网页教程UFLDL Tutorial，据说这个教程写得浅显易懂，也不太长。不过在这这之前还是复习下m

http://yann.lecun.com/exdb/mnist/index.htmlTHE MNIST DATABASEof handwritten digitsYann LeCun, Courant Institute, NYUCorinna Cortes, Google Labs, New YorkChristopher J.C. Burges, Micros

Deep learning：十八(关于随机采样) 先看下Gibbs采样的理论知识。经过调查发现Gibbs是随机采样中的一种。所以本节也主要是简单层次的理解下随机采用知识。参考的知识是博客随机模拟的基本思想和常用采样方法（sampling），该博文是网上找到的解释得最通俗的。其实学校各种带数学公式的知识时，最好有学者能用通俗易懂的语言介绍，这对入门学者来说极其重要。当然了，还参考了网页h

Deep Learning源代码收集转自：http://blog.csdn.net/zouxy09 收集了一些Deep Learning的源代码。主要是Matlab和C++的，当然也有python的。放在这里，后续遇到新的会持续更新。下表没有的也欢迎大家提供，以便大家使用和交流。谢谢。 最近一次更新：2013-9-22Theanohttp://deeplearnin

K-means特征学习转自：http://blog.csdn.net/zouxy09        本文的论文来自：Learning Feature Representations with K-means, Adam Coates and Andrew Y. Ng. In Neural Networks: Tricks of the Trade, Reloaded,

单层非监督学习网络分析转自：http://blog.csdn.net/zouxy09       本文的论文来自：An Analysis of Single-Layer Networks in Unsupervised Feature Learning, Adam Coates, Honglak Lee, and Andrew Y. Ng. In AISTA

Sparse Filtering稀疏滤波转自：http://blog.csdn.net/zouxy09        本文的论文来自：Sparse filtering , J. Ngiam, P. Koh, Z. Chen, S. Bhaskar, A.Y. Ng. NIPS2011。在其论文的支撑材料中有相应的Matlab代码，代码很简介。不过我还没读。

深度网络高层特征可视化http://blog.csdn.net/zouxy09           本文的论文来自：Dumitru Erhan, Aaron Courville, Yoshua Bengio, and Pascal Vincent. Visualizing Higher Layer Features of a Deep Net

Contentsex1 train a 100 hidden unit RBM and visualize its weightsex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNfunction test_example_DBNload mnist_uint

指数增长模型：(exponential growth model) 指数模型是一个早就用于描述生物群体增长的简单模型。该模型假设在研究的时间范围内，只有生殖现象而没有死亡现象，而且生物群体可以获得无限的生长条件。又称Malthns方程(1798)。将指数方程用于描述病害的增长，其微分方程为：                                    (4.1) 式中：x

Gabor filterFrom Wikipedia, the free encyclopediaExample of a two-dimensional Gabor filterIn image processing, a Gabor filter, named after Dennis Gabor, is a linear

:http://www.cs.toronto.edu/~kriz/The CIFAR-10 and CIFAR-100 are labeled subsets of the 80 million tiny images dataset. They were collected by Alex Krizhevsky, Vinod Nair, and Geoffrey Hinton.T

1981 年的诺贝尔医学奖，颁发给了 David Hubel 和 Torsten Wiesel，以及 Roger Sperry。前两位的主要贡献，是 “发现了视觉系统的信息处理”[1]。1958 年，David Hubel 和 Torsten Wiesel 在 John Hopkins University，研究瞳孔区域与大脑皮层神经元的对应关系。他们在猫的后脑头骨上，开了一个

VectorizationWhen working with learning algorithms, having a faster piece of code often means that you'll make progress faster on your project. For example, if your learning algorithm takes

Linear DecodersSparse Autoencoder RecapIn the sparse autoencoder, we had 3 layers of neurons: an input layer, a hidden layer and an output layer. In our previous description of autoencod

Self-Taught Learning to Deep NetworksIn the previous section, you used an autoencoder to learn features that were then fed as input to a softmax or logistic regression classifier. In that meth

Self-Taught LearningContents [hide]1 Overview2 Learning features3 On pre-processing the data4 On the terminology of unsupervised feature learningOverviewA

Deep Learning 基本思想和方法实际生活中，人们为了解决一个问题，如对象的分类（对象可是是文档、图像等），首先必须做的事情是如何来表达一个对象，即必须抽取一些特征来表示一个对象，如文本的处理中，常常用词集合来表示一个文档，或把文档表示在向量空间中（称为VSM模型），然后才能提出不同的分类算法来进行分类；又如在图像处理中，我们可以用像素集合来表示一个图像，后来人们提出了新的

深度学习 Deep Learning 学习资料汇编 （持续更新中）。欢迎补充。入门阅读deep learning较全面的入门介绍浅谈Deep Learning的基本思想和方法机器学习——深度学习(Deep Learning)deep learning tutorials一篇blog：deep learning2,3一些论文介绍

Neural NetworksConsider a supervised learning problem where we have access to labeled training examples (x(i),y(i)). Neural networks give a way of defining a complex, non-linear form of hypo

DeepLearnToolbox usage：matlab->set path->add with subfloders DeepLearnToolbox_NN   (collated According to the function called order)Contentsex1 vanilla（香草） neural netex2 neur

今天介绍的呢是DL另一个非常重要的模型：SAE把这个放在最后来说呢，主要是因为在UFLDL tutorial 里已经介绍得比较详细了，二来代码非常简单(在NN的基础之上)先放一张autoencoder的基本结构：基本意思就是一个隐藏层的神经网络，输入输出都是x，属于无监督学习==========================================

今天是CNN的内容啦，CNN讲起来有些纠结，你可以事先看看convolution和pooling(subsampling)，还有这篇：tornadomeet的博文下面是那张经典的图：=================================================================================================

【面向代码】学习 Deep Learning（二）Deep Belief Nets(DBNs)最近一直在看Deep Learning，各类博客、论文看得不少但是说实话，这样做有些疏于实现，一来呢自己的电脑也不是很好，二来呢我目前也没能力自己去写一个toolbox只是跟着Andrew Ng的UFLDL tutorial 写了些已有框架的代码(这部分的代码见github)

Independent Component AnalysisIntroductionIf you recall, in sparse coding, we wanted to learn an over-complete basis for the data. In particular, this implies that the basis vectors that

Sparse CodingSparse CodingSparse coding is a class of unsupervised methods for learning sets of over-complete bases to represent data efficiently. The aim of sparse coding is to find a set

Deep Learning 算法简介深度(Depth)从一个输入中产生一个输出所涉及的计算可以通过一个流向图(flow graph)来表示：流向图是一种能够表示计算的图，在这种图中每一个节点表示一个基本的计算并且一个计算的值(计算的结果被应用到这个节点的孩子节点的值)。考虑这样一个计算集合，它可以被允许在每一个节点和可能的图结构中，并定义了一个函数族。输入节点没有孩子，输出

Deep Learning 应用实例1、计算机视觉。ImageNet Classification with Deep Convolutional Neural Networks, Alex Krizhevsky, Ilya Sutskever, Geoffrey E Hinton, NIPS 2012.Learning Hierarchical Features fo

Deep Learning 前世今生深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。深度学习是无监督学习的一种。深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。

STL-10 datasetThe STL-10 dataset is an image recognition dataset for developing unsupervised feature learning, deep learning, self-taught learning algorithms. It is inspired by the CIFAR-10 da

Preliminaries: 1."Notes on Convolutional Neural Networks"2."Gradient-based learning applied to document recognition"Contentsex1 Train a 6c-2s-12c-2s Convolutional neural ne

Deep Learning学习（开篇）2013-02-19 22:02 by Jack King, 9444 阅读, 3 评论, 收藏, 编辑Deep Learning（深度学习）最近火爆的不行，不论是以NIPS,ICML,CVPR这些top conference为代表的学术界，还是以Google，Microsoft，IBM为代表的工业界，都加入到了轰轰烈烈的深度学习行列中。在可以

Convolutional Neural Networks卷积神经网络       卷积神经网络是人工神经网络的一种，已成为当前语音分析和图像识别领域的研究热点。它的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。该优点在网络的输入是多维图像时表现的更为明显，使图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。卷积网络是为识别二维

Marc'Aurelio Ranzato (Google)’s Neural Networks code.Deep Learning Methods fo VisionCVPR 2012 Tutorial http://cs.nyu.edu/~fergus/tutorials/deep_learning_cvpr12/ContentsCOMPUTE ER

深度学习：推进人工智能的梦想2013-07-03 13:29 104人阅读 评论(0) 收藏 举报目录(?)[+]深度学习：采用无监督学习，获得更有用的特征（不需要人工抽取特征），以实现各种分类和预测目标，结合高性能计算，提高效率。通篇文字给人传递的信息就是，百度比Google牛，事实真的如此吗？各位有什么看法？摘要：深度

雅可比矩阵[编辑]维基百科，自由的百科全书在向量分析中，雅可比矩阵是一阶偏导数以一定方式排列成的矩阵，其行列式称为雅可比行列式。还有，在代数几何中，代数曲线的雅可比量表示雅可比簇：伴随该曲线的一个代数群，曲线可以嵌入其中。它们全部都以数学家卡尔·雅可比命名；英文雅可比量"Jacobian"可以发音为[ja ˈko bi ən]或者[ʤə ˈko bi ə

Contentsex1 train a 100 hidden unit SDAE and use it to initialize a FFNNex2 train a 100-100 hidden unit SDAE and use it to initialize a FFNNfunction test_example_SAEload mnist_uin

Feature extraction using convolutionContents [hide]1 Overview2 Fully Connected Networks3 Locally Connected Networks4 ConvolutionsOverviewIn the previous e

Softmax RegressionContents [hide]1 Introduction2 Cost Function3 Properties of softmax regression parameterization4 Weight Decay5 Relationship to Logistic Regression6