2016年08月_hunterlew

转载 Batch Normalization 学习

原文地址：http://blog.csdn.net/hjimce/article/details/50866313作者：hjimce一、背景意义本篇博文主要讲解2015年深度学习领域，非常值得学习的一篇文献：《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covar

2016-08-21 14:13:18 2747

原创深度学习UFLDL教程翻译之自我学习

一、概述假设我们有足够强大的学习算法，得到较好结果的其中一种最靠谱的方法是给算法提供更多的数据。这验证了在机器学习的那句格言：“有时候获胜的不是谁有最好的算法，而是谁有最多的数据。” 也许有人总能得到有标记的数据，但这么做成本很高。特别地，研究人员已经采用极致的工具例如AMT（亚马逊土耳其机器人）来得到大量训练集。尽管拥有大量的人们人工标记的数据相比拥有大量的研究

2016-08-18 22:31:17 3432

原创深度学习UFLDL教程翻译之PCA白化

一、引入主成分分析（PCA）是一种降维算法，能大大加速你的无监督特征学习算法。更重要的是，理解PCA能让我们后面实现白化，这是一个对所有算法适用的重要的预处理步骤。假设你在图像上训练你的算法。不过输入稍微有点冗余，因为图像中相邻的像素值是高度相关的。具体来说，假设我们在16*16的灰度图像块上训练。那么x∈R256是256维的向量，一个特征xj对应着图像中每个像

2016-08-13 22:46:01 4443

原创深度学习UFLDL教程翻译之自动编码器

一、自动编码器目前为止,我们介绍了神经网络在有标签的训练样本的有监督学习中的应用.现在假设我们只有一个未标记的训练集{x(1),x(2),x(3),…},其中x是n维的.自动编码器神经网络是一种采用反向传播的无监督学习算法,让目标值和输入相等,即让y(i)=x(i).这是一个自动编码器: 自动编码器试图学习函数hW,b(x)≈x.换句话说,它试图学习恒等函数的逼

2016-08-10 21:51:16 8223

原创深度学习UFLDL教程翻译之卷积神经网络（二）

一、概述一个卷积神经网络（CNN）是由一个或多个卷积层（通常伴随着降采样一步）构成，并加上一个或多个和在标准的多层神经网络一样的全连接层。CNN的结构是设计用于利用输入图像的2D结构（或其他2D输入例如语音信号）。这是由局部连接、权值共享以及一些引起平移不变特征的池化操作来实现的。CNN的另一个优点在于它们更容易训练而且比拥有相同数目的隐藏单元的全连接网络而言，参数更少。在这篇文章中，我们会讨

2016-08-09 21:53:46 3729

原创深度学习UFLDL教程翻译之卷积神经网络（一）

A、使用卷积进行特征提取一、概述在前面的练习中，你解决了像素相对较低的图像的相关问题，例如小的图片块和手写数字的小图像。在这个节，我们将研究能让我们将这些方法拓展到拥有较大图像的更加实际的数据集的方法。二、全连接网络在稀疏自编码器中，我们所做的设计选择是将所有隐藏层单元与输入单元全部连接。在我们处理的相对小的图像中（例如在稀疏自编码器作业中的8×8小块，MNIST数据

2016-08-07 20:54:35 3630 2

原创深度学习UFLDL教程翻译之优化：随机梯度下降

一、概述批量方法，例如有约束方法BFGS，它在每次迭代中使用全部训练集来计算参数的下一次更新，这类方法很好地收敛于局部最优解。它们在框架实现下（例如minFunc）也能直接得到好的结果，因为它们几乎不用调整多少超参数。然而，在全部训练集上计算代价和导数在实践中经常运行很慢，而且有时候数据集太大，内存不足变得很难处理。批量优化方法的另一个问题是它在“在线”模式下难以加入新的数据。随机梯度下降（S

2016-08-06 23:03:31 3035

原创深度学习UFLDL教程翻译之BP算法

假设我们有一个固定由m个训练实例组成的训练集{(x(1),y(1)),…,(x(m),y(m))}.我们可以用批量梯度下降方法来训练我们的神经网络.细节上,对于一个训练实例(x,y)，我们定义关于该实例的代价函数：这是平方误差（的一半）代价函数。给定m个实例的训练集，我们定义全局代价函数：第一项J(W,b)是平方误差和的平均项。第二项是正

2016-08-01 14:29:01 1972

hunterlew的专栏