![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
UFLDL
bea_tree
只要不断按着梯度来,最差也可以进入局部最优解
展开
-
UFLDL 11 卷积与池化 convolution pooling
卷积特征 convolution之前我们都是用很小的图片来做示范,比如8x8,但是很多图片是很大的,比如是100x100,假设我们需要在隐含层提取100个特征,那么一共需要的参数有100x100x100=10w个参数,参数太多显然是不合适的,至少计算速度就会被降低。 于是乎,我们受到动物视觉中某些神经只受局部区域的刺激的启发,每次只将图像局部的一小块接入网络,计算我们需要的特征,训练特征(计算分类原创 2016-05-11 20:29:53 · 1588 阅读 · 0 评论 -
UFLDL 笔记 05 自编码训练结果展示 Visualizing a Trained Autoencoder
上一节中已经学会训练稀疏的自编码器,这一节将展示它神秘的隐藏单元。 还要再借上一节的图用下: 这里我们假设输入是一个10*10的图片,也就是有100个输入单元。 对于每个隐藏单元都会进行如下计算: a2ia_i^{2}是隐藏单元的计算结果。 每一个a2ia_i^{2}都有100个输入,这里要求的就是什么样的输入的组合能够让该隐藏单元最兴奋。 这里有100个输入也就是有100个未知原创 2016-04-23 09:07:31 · 897 阅读 · 0 评论 -
UFLDL 09 自我学习 Self-Taught Learning Unsupervised Feature Learning
本文主要是说自我学习和无监督的特征学习,并不是我们之前说的无监督学习的聚类等内容。1总体思路这里的自我学习是特征的学习,是通过自编码和稀疏矩阵得到特征。基本思路如下: 1. 大量的无标签数据导入自编码器(autoencoder),得到其更加本质的特征; 2. 有标签数据导入同一个编码器,用得到的特征和标签进行训练,(使用普通的训练方法比如svm等)得到模型; 3. 利用模型进行预测。 (⊙o原创 2016-05-05 09:00:40 · 807 阅读 · 2 评论 -
UFLDL 08 Softmax Regression
所谓softmax regression 是在logistic regression基础上的升级版。 logistics是二分类,而softmax可以多分类。1 logistic regression学习softmax regression之前 我们先回归一下 logistic regression的相关知识。 (参见http://blog.csdn.net/bea_tree/article/d原创 2016-05-04 09:36:50 · 1262 阅读 · 0 评论 -
UFLDL 笔记 02 Backpropagation Algorithm 反向传播及初始值设置
Backpropagation Algorithm 反向传导算法建立损失函数首先要明确,神经网络的训练就是寻找最佳的权重W和偏置项b的过程,单个样本的求解的目标函数,也就是损失函数为: 如果有多个样本,那么就是将多个损失函数求和,通常为了防止过拟合要加入规则化项(权重衰减项),公式如下: 为什么这样会防止过拟合呢? 将w单独列出,如果其惩罚因子越大那么它的值就会越小,试想一下,如果在原创 2016-04-17 21:21:10 · 3963 阅读 · 0 评论 -
UFLDL 07 白化 whitening/sphering
什么是白化 白化是将不同特征去掉相关性,并且将新特征的数据的的方差化为相同。 至于为什么需要白化,文中只说了有些算法需要它作为预处理,quora上的一个问题也许会有帮助。 https://www.quora.com/Computer-Vision-In-sphering-whitening-what-advantage-does-making-the-features-have-the-sam原创 2016-05-02 23:54:01 · 1788 阅读 · 0 评论 -
UFLDL 10 建立分类用深度学习网络 (含梯度弥散的原因)
重点分析了普通bp网络梯度弥散等不稳定现象,建立了分类用自编码深度网络。原创 2016-05-11 15:53:08 · 3736 阅读 · 0 评论 -
UFLDL 笔记 03 梯度检验与高级优化算法介绍
梯度检验 Gradient checking在自己编代码计算上节中的反向传递算法时,有时候即使程序出错,造成了只优化一部分权重,或者其他原因,得到的结果看起来不错,但是不是最优结果。 这一节就介绍了一个检验在求导时是否正确的方法。 在高数中我们知道,下式成立 在这里我们也可以用这样的方法来检验得到的值是不是与等式右边的值相同,或者相似。 文中说,如果取ϵ=0.0001\epsilon=0.原创 2016-04-17 22:19:15 · 1293 阅读 · 0 评论 -
UFLDL 笔记 01 神经网络
UFLDL=Unsupervised Feature Learning and Deep Learning01 神经网络神经网络由神经元构成,首先看神经元的结构:1.1 神经元单个神经元简单来说就是输入数值(刺激),代入一个激活函数,如果达到阈值便输出一个对应的值。 其输出为hW,b=f(Wtx)=f(∑3i=1Wixi+b)h_{W,b}=f(W^tx)=f(\sum^3_{i=1}W_ix原创 2016-04-17 19:26:33 · 1072 阅读 · 0 评论 -
UFLDL 06 PCA 主成分分析法
引言Principal Components Analysis,是一种无监督学习方法,主要是用来将特征的主要分成找出,并去掉基本无关的成分,从而达到降维的目的。PCA的用处很多,此处不做详述。基本原理什么是主成分 实际情况下,很多特征都是有重复的内容的,他们彼此包含一部分信息,但是我们可以利用他们的组合得到一个包含更多信息的新特征,其中可以得到的包含最多信息的新特征就是这些特征中最重要的特征。假原创 2016-04-30 23:40:44 · 1909 阅读 · 0 评论 -
UFLDL 笔记 04 自编码算法与稀疏性 Autoencoders and Sparsity
自编码算法和稀疏性,完美!原创 2016-04-19 23:48:10 · 4644 阅读 · 0 评论