![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Deep Learning
文章平均质量分 82
jingruixiaozhuang
这个作者很懒,什么都没留下…
展开
-
Deep learning---------------Convolution Network
深度网络结构是由多个单层网络叠加而成的,而常见的单层网络按照编码解码情况可以分为下面3类:既有encoder部分也有decoder部分:比如常见的RBM系列(由RBM可构成的DBM, DBN等),autoencoder系列(以及由其扩展的sparse autoencoder, denoise autoencoder, contractive autoencoder, saturating原创 2013-12-01 10:03:37 · 1483 阅读 · 0 评论 -
Deep learning--------------Independent Component Analysis(ICA)
在sparse coding模型中,学习到的基是超完备集的,也就是说基集中基的个数比数据的维数还要大,那么对一个数据而言,将其分解为基的线性组合时,这些基之间本身就是线性相关的。如果我们想要得到线性无关的基集,那么基集中元素的个数必须小于或等于样本的维数,本节所讲的ICA(Independent Component Analysis,独立成分分析)模型就可以完成这一要求,它学习到的基之间不仅保证线原创 2013-12-05 19:56:57 · 807 阅读 · 0 评论 -
Deep learning----------Deep Belief Networks
DBN是由Hinton在2006年提出的一种概率生成模型, 由多个限制玻尔兹曼机(RBM)[3]堆栈而成: 在训练时, Hinton采用了逐层无监督的方法来学习参数。首先把数据向量x和第一层隐藏层作为一个RBM, 训练出这个RBM的参数(连接x和h1的权重, x和h1各个节点的偏置等等), 然后固定这个RBM的参数, 把h1视作可见向量, 把h2视作隐藏向量, 训练第二个RB原创 2013-12-04 21:04:25 · 2806 阅读 · 0 评论 -
Deep learning---------------Back propagation Algorithm(BP algorithm)
假设我们有一个固定样本集 ,它包含 个样例。我们可以用批量梯度下降法来求解神经网络。具体来讲,对于单个样例 ,其代价函数为:这是一个(二分之一的)方差代价函数。给定一个包含 个样例的数据集,我们可以定义整体代价函数为:以上公式中的第一项 是一个均方差项。第二项是一个规则化项(也叫权重衰减项),其目的是减小权重的幅度,防止过度拟合。[注:通常权重衰减原创 2013-12-02 17:59:25 · 1674 阅读 · 0 评论 -
Deep learning------------ Autoencoders
Autoencoders分为3类: 喵呜,是哪三类呢?登登登登Firstly, when it comes into being issparse autoencoderSecond: denoising autoencoderFinally:Contractive Auto-Encoders下面我们来分条阐述:原创 2013-12-04 21:36:07 · 1068 阅读 · 0 评论 -
Deep learning------------PCA (principle component analysis)
PCA在 stanford CS229课程里有详细的讲解:一下是对PCA从各个方面的深入剖析:IntroductionPrincipal Components Analysis (PCA) is a dimensionality reduction algorithm that can be used to significantly speed up yo原创 2013-12-05 19:35:47 · 1267 阅读 · 0 评论 -
Deep learning--------------Whitening
IntroductionWe have used PCA to reduce the dimension of the data. There is a closely related preprocessing step called whitening (or, in some other literatures, sphering) which is needed for some原创 2013-12-05 19:39:15 · 729 阅读 · 0 评论 -
Deep learning--------Restricted Boltzmann Machines (RBM)
Energy-Based Models (EBM)Energy-based models associate a scalar energy to each configuration of the variables of interest. Learning corresponds to modifying that energy function so that its shape ha原创 2013-12-04 21:13:33 · 1412 阅读 · 0 评论 -
Deep learning----------Self-taught learning
Self-taught leaning是用的无监督学习来学习到特征提取的参数,然后用有监督学习来训练分类器。这里无监督学习和有监督学习分别是用的sparse autoencoder和softmax regression.如果已经有一个足够强大的机器学习算法,为了获得更好的性能,最靠谱的方法之一是给这个算法以更多的数据。机器学习界甚至有个说法:“有时候胜出者并非有最好的算法,而是有更多的原创 2013-12-05 20:13:32 · 1880 阅读 · 0 评论 -
Deep learning-------------Self-Taught Learning to Deep Networks
Abstract:如果我们利用自编码器来学习输入至 softmax 或 logistic 回归分类器的特征,那么这些特征仅利用未标注数据学习获得。在本节中,我们描述如何利用已标注数据进行微调,从而进一步优化这些特征。如果有大量已标注数据,通过微调就可以显著提升分类器的性能。在自我学习中,我们首先利用未标注数据训练一个稀疏自编码器。随后,给定一个新样本 ,我们通过隐含层提取出特征 。原创 2013-12-05 20:25:03 · 689 阅读 · 0 评论 -
用NN实现数据的降维
声明: 本文系转载,来自作者:tornadomeet 出处:http://www.cnblogs.com/tornadomeet数据降维的重要性就不必说了,而用NN(神经网络)来对数据进行大量的降维是从2006开始的,这起源于2006年science上的一篇文章:reducing the dimensionality of data with neural networks,作者就是鼎鼎有转载 2014-01-24 22:11:31 · 822 阅读 · 0 评论 -
sparse-autoencoder
Sparse Auto-encodersSo far, we have described the application of neural networks to supervised learning, in which we have labeled training examples. Now suppose we have only a set of unlabeled原创 2014-01-25 10:46:00 · 1285 阅读 · 0 评论 -
Deep learning-------------Neural networks
本节内容: The representation and learning of neural networks-----------------------The representation of neural networks-------------------------(一)、为什么引入神经网络?——Nonlinear hypothesis之前我们讨原创 2013-12-02 12:11:29 · 823 阅读 · 0 评论 -
Deep learning------------softmax regression
先学学英语:Softmax回归 Softmax Regression有监督学习 supervised learning无监督学习 unsupervised learning深度学习 deep learninglogistic回归 logistic regression截距项 intercept term二元分类 binary classification类型原创 2013-12-02 18:07:04 · 957 阅读 · 0 评论 -
An easy understanding on deep learning
声明:本内容系转载,请尊重原创!!!四、关于特征 特征是机器学习系统的原材料,对最终模型的影响是毋庸置疑的。如果数据被很好的表达成了特征,通常线性模型就能达到满意的精度。那对于特征,我们需要考虑什么呢?4.1、特征表示的粒度 学习算法在一个什么粒度上的特征表示,才有能发挥作用?就一个图片来说,像素级的特征根本没有价值。例如下面转载 2013-12-02 08:06:12 · 1618 阅读 · 0 评论 -
Regression(3)-------Linear Regression with multiple variables
(一)、Multiple Features:多变量假设:输出由多维输入决定,即输入为多维特征。如下图所示:Price为输出,前面四维为输入:假设h(x)=θ0+θ1x1+……所谓多参数线性回归即每个输入x有(n+1)维[x0……xn](二)、Gradient Descent for Multiple转载 2013-12-01 10:29:26 · 623 阅读 · 0 评论 -
Deep learning---------Representation Learning: A Review and New Perspectives
Representation Learning: 《A Review and New Perspectives》摘要 机器学习算法的成功主要取决于数据的表达data representation。我们一般猜测,不同的表达会混淆或者隐藏或多或少的可以解释数据不同变化的因素。尽管特定的领域知识可以有助于设计或者选择数据的表达,但通过一般的先验知识来学习表达也是有效的。而且,转载 2013-12-02 13:02:55 · 5205 阅读 · 0 评论 -
Unsupervise learning——Unsupervised feature learning and deep learning
无监督学习近年来很热,先后应用于computer vision, audio classification和 NLP等问题,通过机器进行无监督学习feature得到的结果,其accuracy大多明显优于其他方法进行training。本文将主要针对Andrew的unsupervised learning,结合他的视频:unsupervised feature learning by Andr转载 2013-12-01 13:14:37 · 1490 阅读 · 0 评论 -
Deep learning---------k-means
k-means原理与论文点评--------------k-means原理--------------区分两个概念:hard clustering:一个文档要么属于类w,要么不属于类w,即文档对确定的类w是二值的1或0。soft clustering:一个文档可以属于类w1,同时也可以属于w2,而且文档属于一个类的值不是0或1,可以是0.3这样的小数。原创 2013-12-02 12:20:34 · 1087 阅读 · 1 评论 -
Regression(1)------The difference between classification and regression
机器学习可以解决很多问题,其中最为重要的两个是 回归与分类。 这两个问题怎么解决, 它们之间又有什么区别呢? 以下举几个简单的例子,以给大家一个概念1. 线性回归回归分析常用于分析两个变量X和Y 之间的关系。 比如 X=房子大小 和 Y=房价 之间的关系, X=(公园人流量,公园门票票价) 与 Y=(公园收入) 之间的关系等等。那么你的数据点在图上可以这么看原创 2013-12-01 11:10:17 · 1008 阅读 · 0 评论 -
Regression(2)-------- Linear Regression with one variable
第一章-------单参数线性回归 Linear Regression with one variable(一)、Cost Function线性回归是给出一系列点假设拟合直线为h(x)=theta0+theta1*x, 记Cost Function为J(theta0,theta1)之所以说单参数是因为只有一个变量x,即影响回归参数θ1,θ0的是一维变量,或者说输原创 2013-12-01 10:12:04 · 621 阅读 · 0 评论 -
Deep learning----------Multi-Stage multi-level architecture analysis
本文总结来自论文: What is the Best Multi-Stage Architecture for Object Recognition? 《What is the Best Multi-Stage Architecture for Object Recognition?》 对目标识别怎样的多级架构Multi-Stage Archit转载 2013-12-02 12:57:13 · 800 阅读 · 0 评论 -
The basic knowledge of deep learning
教程中的一些术语: Model representation: 其实就是指学习到的函数的表达形式,可以用矩阵表示。 Vectorized implementation: 指定是函数表达式的矢量实现。 Feature scaling: 指是将特征的每一维都进行一个尺度变化,比如说都让其均值为0等。 Normal equations原创 2013-12-01 10:04:57 · 1805 阅读 · 1 评论 -
Regression(4)-------Logistic Regression & Regularization
本讲内容:Logistic Regression=========================(一)、Classification(二)、Hypothesis Representation(三)、Decision Boundary(四)、Cost Function(五)、Simplified Cost Function and Gradi原创 2013-12-01 10:34:20 · 1688 阅读 · 0 评论 -
Deep learning------------Visualizing Higher Layer Features of a Deep Network.
《Visualizing Higher-Layer Features of a Deep Network》 Deep Learning很吸引人,也很玄乎的一个点就是大家都说它可以提取到分级的逐层抽象的特征。但对我们来说,总是耳听为虚,眼见为实。所以,每当我们训练完一个深度模型后,我们还特别想把这个深度模型学到的东西给可视化出来,好弄明白它到底学到了什么东西,是不是有意义的,转载 2013-12-02 12:58:38 · 2178 阅读 · 0 评论 -
deep learning demo
Theanohttp://deeplearning.net/software/theano/code from: http://deeplearning.net/ Deep Learning Tutorial notes and codehttps://github.com/lisa-lab/DeepLearningTutorialscode fro原创 2014-02-06 22:18:52 · 1864 阅读 · 1 评论