UFLDL稀疏自编码器练习翻译增添公式图片

最新推荐文章于 2019-02-16 21:25:32 发布

SeamusWEI

最新推荐文章于 2019-02-16 21:25:32 发布

阅读量1.8k

点赞数 1

分类专栏： matlab实现深度学习稀疏自编码器文章标签：深度学习稀疏自编码器 Matlab UFLDL

本文链接：https://blog.csdn.net/SeamusWEI/article/details/38368601

版权

matlab实现同时被 3 个专栏收录

9 篇文章 0 订阅

订阅专栏

深度学习

3 篇文章 0 订阅

订阅专栏

稀疏自编码器

3 篇文章 0 订阅

订阅专栏

这几天做UFLDL稀疏自编码器单元作业，到梯度计算步骤，总得不到正确结果。郁闷。回头看这个翻译，没有公式，读起来几乎没什么用。今天补一补。

斯坦福的UFLDL是系统学习深度学习内容、弄清其知识结构的好地方，其中练习对理解概念、增强技能非常有帮助。（http://deeplearning.stanford.edu/wiki/index.php/UFLDL_Tutorial）

向那些翻译了其中大部分内容的自愿者致敬！有了中文翻译，终于可以一目十行地浏览，而不是十目一行地钻研深度学习了。

不知什么原因，各单元的练习部分都没有翻译，我正好在学，就把自己做的事贡献出来，为通过这些练习进入深度学习领域的人提供一点儿方便。不确切之处请包涵。

尽量采用UFLDL网站上已有中文翻译格式，但贴到这里很难保持原貌。最主要的就是图片和公式太烦人，一个mathtype符号就得当图片贴一次，看来一会儿是帖不完了。

练习：稀疏自编码器

From Ufldl

Jump to: navigation, search

内容

1下载相关阅读材料

2稀疏自编码器实现

2.1第一步：生成训练集

2.2第二步：稀疏自编码器目标函数

2.3第三步：梯度检验

2.4第四步：训练稀疏自编码器

2.5第五步：可视化

3 结果

下载相关阅读资料

sparseae_reading.pdf ：

http://nlp.stanford.edu/~socherr/sparseAutoencoder_2011new.pdf

sparseae_exercise.pdf：

http://www.stanford.edu/class/cs294a/cs294a_2011-assignment.pdf

（SeamusWEI说明：第一个文件与UFLDL网站稀疏自编码器单元的网上教程差不多，参考UFLDL网上教程，特别是对应中文翻译内容即可；第二个文件是作业布置，其主要内容就是这里所翻译部分。所以下不下载这两个文件无所谓。但有一点要注意，下文中所说的讲义节次编号，都是针对sparseae_reading.pdf文件中的节次而言的，不是网站上顺序。网站上没有内容的章节编号。）

稀疏自编码器实现

在这一组问题中，你要实现稀疏自编码器算法，说明它怎么能发现边角是自然图像的一种良好表示（图像由Bruno Olshausen提供）。稀疏自编码器算法见本课程网上讲义描述。

在sparseae_exercise.zip文件中，用Matlab提供了一些开始代码（下载地址：http://ufldl.stanford.edu/wiki/resources/sparseae_exercise.zip）。你要在该文件中注有“YOUR CODE HERE”的位置写你的代码。你得完成下列文件：

sampleIMAGES.m

sparseAutoencoderCost.m

computeNumericalGradient.m

训练函数train.m中的开始代码说明了这些函数怎么用。

（SeamusWEI说明：该zip文件大小为10.9MB，解压后为20.2MB，含54个文件，主要是各种matlab程序文件，最大的是图像文件IMAGES，20MB）。

软件说明：所提供.zip文件包括一个子目录minFunc，用第三方软件实现L-BFGS，依照CCA（创新共同署名许可证）授权非商用目的使用。如果要将该软件用于商业目的，可以下载使用另一个函数（fminlbfgs），能达到同样目的，但在这个练习中运行速度慢三倍（所以不怎么推荐）。可在下面的fminblfgs_details网页读到更多相关内容

http://deeplearning.stanford.edu/wiki/index.php/Fminlbfgs_Details

第一步：生成训练集

第一步是生成一个训练集。要得到单个训练样本x，从10幅图像中随机挑出一幅，再从挑出图像中随机采样一个8x8图像块，把图像块转换成64维向量得到一个训练样本（按行序或者列序组织向量无所谓），训练样本。

完成sampleIMAGES.m代码。所写代码应采样10000个图像块，保存为64x10000矩阵。

要确信所写代码奏效，运行train.m里面“Step 1”中代码。其结果应该是画出数据集里200个随机样本块。

实现提示：运行所写的sampleImages()时，所需时间应不多于5秒。要是运行时间超过30秒，可能是因为你不小心，在每次挑选随机图像时，复制了整个512x512大小的图像。把一个512x512的图像复制10000次，会让你的实现效率极低。虽然在这个练习中，这不会明显降低代码运行速度（因为只有10000个样本），但是，当在本节后面扩展到一百万个或更多样本时，这就会明显降低代码运行速度。请实现sampleIMAGES，别在每次需要剪切一个8x8图像块时，复制整个512x512图像。

第二步：稀疏自编码器目标函数

运行代码，计算稀疏自编码器代价函数（讲义第三部分），以及相应于不同参数的对应导数。激活函数采用sigmoid函数：。在这里实际就是完成sparseAutoencoderCost.m中代码。

稀疏自编码器用矩阵，向量参数化。不过，为了后续标记方便，我们要把所有这些参数“展开”为一个很长的参数向量，其中共有个元素。参数组与参数向量之间转换的代码已经提供在开始代码中。

实现提示：目标函数包括三项，对应着平方误差项、权值衰减项、稀疏性惩罚项。你怎么实现都行，不过为了调试方便，建议先只用平方误差项实现代价函数和导数计算（反向传导），这对应着参数设置；并实现下一部分的梯度检验方法先证实这一代码正确。只有在相应于平方误差项的目标函数和导数计算证实奏效后，再添加代码计算权值衰减项和稀疏性惩罚项，以及它们相应的导数。

第三步：梯度检验

按照讲义2.3节内容实现梯度检验，即完成computeNumericalGradient.m。请按照讲义上描述，取。

我们还在checkNumericalGradient.m中提供了代码，供你测试自己程序。这个代码定义了一个简单的二次函数，形式为，在点上进行评估。它能让你证实你的数值方法梯度估值很接近实际梯度（解析计算得到的梯度值）。

用checkNumericalGradient.m确认正确后，用sparseAutoencoderCost.m确认导数计算正确。细节参考train.m中的Steps 3。极力劝戒：在证实导数计算正确之前，不要进入下一步。

实现提示：调试代码时，在小的模型和小的训练集上执行梯度检验，例如只用10个训练样本和1-2个隐藏单元，可加快速度。

第四步：训练稀疏自编码器

有了计算及其导数的代码，我们已经准备好了相对于的参数最小化，并由此训练稀疏自编码器。

我们采用L-BFGS算法，用一个包含在开始代码中称为minFunc的函数提供给你（代码由Mark Schmidt提供）。（就这个作业而言，你只要用默认参数调用minFunc函数即可，不必知道L-BFGS怎么实现）。我们已在train.m中提供了调用minFunc的代码（Step 4）。minFunc函数假设要优化的参数是一个长参数向量，所以在把参数传递给它时，采用参数向量而非参数组。