sparseAutoencoderCost.m实现

最新推荐文章于 2018-07-27 14:49:43 发布
最新推荐文章于 2018-07-27 14:49:43 发布
阅读量1k 收藏
点赞数
分类专栏： Ufldl 稀疏自编码器 Matlab
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wangxiaoyaner/article/details/53354050
版权

实现稀疏自编码器的cost计算，题目要求见Ufldl，并且按照该网站提供的稀疏自编码器的教程进行编码

cost分为三部分the squared error term, the weight decay term以及sparsity penalty.每次增加一部分以方便调试，比如先计算the squared error term部分，用导数定义进行检验，正确后添加其他的部分。

function [cost,grad] = sparseAutoencoderCost(theta, visibleSize, hiddenSize, ...
                                             lambda, sparsityParam, beta, data)

% visibleSize: the number of input units (probably 64) 
% hiddenSize: the number of hidden units (probably 25) 
% lambda: weight decay parameter
% sparsityParam: The desired average activation for the hidden units (denoted in the lecture
%                           notes by the greek alphabet rho, which looks like a lower-case "p").
% beta:
最低0.47元/天 解锁文章
SiWxyer
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
UFLDL 学习笔记——稀疏自动编码机（sparse autoencoder）
稻草人的专栏
06-05 1542
自动编码机是一种出入层节点数等于输出层节点数的三层神经网络，只有中间一层隐藏层。
SparseAutoEncoder 稀疏编码详解（Andrew ng课程系列）
whiteinblue的专栏
03-06 1万+
先简单叙述问题，源码详细解析在下面 前言        首先介绍sparse autoencoder的一个实例练习，参考Ng的网页教程：Exercise:Sparse Autoencoder。这个例子所要实现的内容大概如下：从给定的很多张自然图片中截取出大小为8*8的小patches图片共10000张，现在需要用sparse autoencoder的方法训练出一个隐含层网络所学习到的特征
Deep Learning模型之：Sparse AutoEncoder
u010555688的专栏
04-25 4333
这节课来学习下Deep learning领域比较出名的一类算法——sparse autoencoder，即稀疏模式的自动编码。我们知道，deep learning也叫做unsupervised learning，所以这里的sparse autoencoder也应是无监督的。按照前面的博文：Deep learning：一(基础知识_1)，Deep learning：七(基础知识_2)所讲，如果是
SparseAutoEncoder 稀疏自动编码器
ROS学习VS图像处理
01-29 5481
Sparse Coding 稀疏编码（Sparse Coding）是一种模拟哺乳动物视觉系统主视皮层V1区的视觉感知算法，NNSC（Non-Negative Sparse Coding，非负稀疏编码）是SC和非负矩阵分解相结合的一种编码算法。        对57个训练样本的每一幅图片随机抽样1500个4×4个图像小块，4×4可显示一个眼的余角，4×4比8×8精确的多，使 用NNSC
matlab编写的LBFGS优化算法
05-21
这是一个用matlab写得LBFGS算法，这个算法是一种由牛顿算法演变而来的优化算法。算法包括了LBFGS算法和BFGS两种算法，LBFGS算法可以解决大规模计算的问题，算法详细，有注释。
Deep Learning 练习一：Sparse Autoencoder
Hard Working
10-17 2830
In this problem set, you will implement the sparse autoencoder algorithm, and show how it discovers that edges are a good representation for natural images. (Images provided by Bruno Olshausen.) The s
颜色分类leetcode-ufldl:无监督特征学习和深度学习教程的实现
07-06
我们在sparseAutoencoderCost.m的第一个实现中已经使用了矢量化版本。 在它之后评论了一个非向量和有点不雅的实现。 练习 2：向量化稀疏自动编码器 以下文件是本练习的核心： sparseAutoencoderCost.m ：前向和反向...
stanford大学deep learning教程课后练习代码
04-15
9. **成本函数（Cost Function）**：`sparseAutoencoderCost - 副本.m` 和 `sparseAutoencoderCost.m` 文件可能包含了自编码器的损失函数实现，这通常是一个衡量模型预测与实际数据之间差异的指标，用于优化过程。...
自己编写matlab深度学习包以及AE示例代码
05-31
"sparseAutoencoderCost.m"涉及到稀疏自动编码器的代价函数。自动编码器是一种无监督学习方法，用于学习数据的低维表示。稀疏编码要求网络在隐藏层具有较低的激活率，以实现更高效的特征学习。 "sparseloss_0521.m...
UFLDL教程： Exercise: Sparse Autoencoder
jiandanjinxin的专栏
06-07 2261
一些malab函数bsxfun: 　　C=bsxfun(fun,A,B)表达的是两个数组A和B间元素的二值操作，fun是函数句柄或者m文件，或者是内嵌的函数。在实际使用过程中fun有很多选择比如说加，减等，前面需要使用符号’@’.一般情况下A和B需要尺寸大小相同，如果不相同的话，则只能有一个维度不同，同时A和B中在该维度处必须有一个的维度为1。比如说bsxfun(@minus, A, mean(A)
小白学《神经网络与深度学习》笔记之二-利用稀疏编码器找图像的基本单位（1）MatLab实现SparseAutoEncoder
yingwei13mei的博客
12-18 2487
前言 学完稀疏自编码器，参考http://deeplearning.stanford.edu/wiki/index.php/UFLDL%E6%95%99%E7%A8%8B中的Exercise:Sparse Autoencoder 使用MatLab完成练习要求。这个例子所要实现的内容大概如下：从给定的数据文件IMAGES.mat（这是一个512*512*10的三维数组，里面存了10张图片，每张图
UFLDL编程练习——Sparse Autoencoder
Markala的博客
11-15 2180
UFLDL的稀疏自编码器练习记录
拟牛顿法（DFP、BFGS、L-BFGS）
热门推荐
songbinxu的博客
03-24 6万+
拟牛顿法 一、牛顿法 1.1 基本介绍 牛顿法属于利用一阶和二阶导数的无约束目标最优化方法。基本思想是，在每一次迭代中，以牛顿方向为搜索方向进行更新。牛顿法对目标的可导性更严格，要求二阶可导，有Hesse矩阵求逆的计算复杂的缺点。XGBoost本质上就是利用牛顿法进行优化的。 1.2 基本原理 现在推导牛顿法。 假设无约束最优化问题是 minxf(x)minxf(x)\m...
L-BFGS(minFunc):Step direction is illegal
pymqq的专栏
02-25 6122
在使用minFunc实现的L-BFGS优化方法进行AutoEncoder时，提示Step direction is illegal，解决方法如下： 将图像的标准差归一化至1，即每个图像减去该图像的均值然后除以该图像的标准差。 即使按上述方式处理后依然提示如下所示的Warning，但是可以运行了。 Warning: Matrix is close to singular or badly sc
稀疏自动编码器 （Sparse Autoencoder）
weixin_34194087的博客
12-08 590
2019独角兽企业重金招聘Python工程师标准>>> ...
数值优化：理解L-BFGS算法
yu132563的专栏
07-27 8261
译自《Numerical Optimization: Understanding L-BFGS》，本来只想作为学习CRF的补充材料，读完后发现收获很多，把许多以前零散的知识点都串起来了。对我而言，的确比零散地看论文要轻松得多。原文并没有太多关注实现，对实现感兴趣的话推荐原作者的golang实现。 数值优化是许多机器学习算法的核心。一旦你确定用什么模型，并且准备好了数据集，剩下的工作就是训练了。估...
Sparsity稀疏编码（一）
weixin_34306593的博客
06-26 228
稀疏编码来源于神经科学，计算机科学和机器学习领域一般一开始就从稀疏编码算法讲起，上来就是找基向量（超完备基），但是我觉得其源头也比较有意思，知道根基的情况下，拓展其应用也比较有底气。哲学、神经科学、计算机科学、机器学习科学等领域的砖家、学生都想搞明白人类大脑皮层是如何处理外界信号的，大脑对外界的“印象”到底是什么东东。围绕这个问题，哲学家在那想、神经科学家在那用设备观察、计算机和机器学习科学家则是...
Sparse Autoencoder
chuange6363的博客
09-10 280
自编码器 Autoencoder 稀疏自编码器 Sparse Autoencoder 降噪自编码器 Denoising Autoencoder 堆叠自编码器 Stacked Autoencoder 稀疏自编码器可以看做是自编码器的一个变种，它的作用是给隐藏神经元...
UFLDL练习(Sparse Autoencoder)
DarkScope从这里开始
03-03 2万+
最近开始学习UFLDL，一个deep learning的教程 这个练习的地址：http://deeplearning.stanford.edu/wiki/index.php/Exercise:Sparse_Autoencoder Sparse Autoencoder是用神经网络进行feature learning的一个算法，详细的就见教程，我只是贴贴代码 从早上十点多一直debug到下午
matlab 降噪自编码器代码
最新发布
03-12
当涉及到降噪自编码器的代码实现时，MATLAB提供了一些工具和函数来帮助我们完成这个任务。下面是一个简单的MATLAB代码示例，用于实现降噪自编码器： ```matlab % 加载数据集 load('data.mat'); % 假设数据集保存在data.mat文件中 % 设置参数 inputSize = size(data, 1); % 输入层大小 hiddenSize = 100; % 隐藏层大小 lambda = 0.0001; % 正则化参数 sparsityParam = 0.01; % 稀疏性参数 beta = 3; % 稀疏性惩罚项权重 maxIter = 400; % 最大迭代次数 % 初始化权重 theta = initializeParameters(hiddenSize, inputSize); % 使用L-BFGS算法进行优化 options = optimset('MaxIter', maxIter); [optTheta, cost] = fminlbfgs(@(t) sparseAutoencoderCost(t, inputSize, hiddenSize, lambda, sparsityParam, beta, data), theta, options); % 获取编码器和解码器的权重 W1 = reshape(optTheta(1:hiddenSize*inputSize), hiddenSize, inputSize); W2 = reshape(optTheta(hiddenSize*inputSize+1:end), inputSize, hiddenSize); % 使用训练好的自编码器进行降噪 noisyData = addNoise(data); % 添加噪声到数据集 decodedData = decode(encode(noisyData, W1), W2); % 解码降噪后的数据 % 显示原始数据和降噪后的数据 figure; subplot(1, 2, 1); imshow(data); title('原始数据'); subplot(1, 2, 2); imshow(decodedData); title('降噪后的数据'); % 辅助函数 % 初始化权重函数 function theta = initializeParameters(hiddenSize, inputSize) r = sqrt(6) / sqrt(hiddenSize + inputSize + 1); rand('seed', 0); W1 = rand(hiddenSize, inputSize) * 2 * r - r; W2 = rand(inputSize, hiddenSize) * 2 * r - r; theta = [W1(:); W2(:)]; end % 添加噪声函数 function noisyData = addNoise(data) noiseLevel = 0.1; % 噪声水平 noisyData = data + noiseLevel * randn(size(data)); end % 编码函数 function encodedData = encode(data, W1) encodedData = sigmoid(W1 * data); end % 解码函数 function decodedData = decode(encodedData, W2) decodedData = sigmoid(W2 * encodedData); end % sigmoid函数 function y = sigmoid(x) y = 1 ./ (1 + exp(-x)); end % 自编码器代价函数 function [cost, grad] = sparseAutoencoderCost(theta, inputSize, hiddenSize, lambda, sparsityParam, beta, data) W1 = reshape(theta(1:hiddenSize*inputSize), hiddenSize, inputSize); W2 = reshape(theta(hiddenSize*inputSize+1:end), inputSize, hiddenSize); m = size(data, 2); rho = sparsityParam; % 前向传播 a1 = data; z2 = W1 * a1; a2 = sigmoid(z2); z3 = W2 * a2; a3 = sigmoid(z3); % 计算代价 diff = a3 - data; squaredErrorTerm = 0.5 * sum(sum(diff .^ 2)) / m; weightDecayTerm = 0.5 * lambda * (sum(sum(W1 .^ 2)) + sum(sum(W2 .^ 2))); rhoHat = mean(a2, 2); klDivergenceTerm = beta * sum(rho .* log(rho ./ rhoHat) + (1 - rho) .* log((1 - rho) ./ (1 - rhoHat))); cost = squaredErrorTerm + weightDecayTerm + klDivergenceTerm; % 反向传播 delta3 = diff .* sigmoidGradient(z3); delta2 = (W2' * delta3 + beta * (-rho ./ rhoHat + (1 - rho) ./ (1 - rhoHat))) .* sigmoidGradient(z2); % 计算梯度 W1grad = delta2 * a1' / m + lambda * W1; W2grad = delta3 * a2' / m + lambda * W2; grad = [W1grad(:) ; W2grad(:)]; end % sigmoid函数的导数 function g = sigmoidGradient(z) g = sigmoid(z) .* (1 - sigmoid(z)); end ``` 这段代码实现了一个简单的降噪自编码器，包括初始化权重、添加噪声、编码、解码、代价函数等功能。你可以根据自己的需求进行修改和扩展。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值