深度学习笔记：稀疏自编码器（3）——稀疏自编码算法

  有了神经网络和反向传播的基础，我们就可以将其应用到稀疏自编码器中了。稀疏自编码器属于非监督学习，主要通过尝试学习一个$h_{W,b}(x)\approx x$的函数，来提取输入值$x$中的特征。

0.本文中使用的符号

  本文中使用的符号大体与上一篇文章相同，在此仅列出一些新增加的符号和需要注意的符号

符号	描述
$m$ 样本总数 $a_{j}^{(2)}$ 第2层第$j$个神经元的激活度
$a_{j}^{(2)}(x)$ 在给定输入值为$x$的情况下，第2层第$j$个神经元的激活度 $\hat{\rho_{j}}$ $\hat{\rho_{j}}=\frac{1}{m}\sum_{i=1}^{m}[a_{j}^{(2)}(x^{(i)})]$表示第2层第$j$个隐藏神经元在训练集上的平均活跃度
$\rho$ 表示稀疏性参数，通常是一个接近0的值（如$\rho=0.05$），可以令$\hat{\rho_{j}}=\rho$，来对神经元$a_{j}^{(2)}$的稀疏度进行限制 $s_2$ 第2层（隐藏层）神经元的数量 $h_{W,b}(x)$ 输入值为$x$，神经网络中权值和偏置项分别为$W,b$的情况下的输出值 1.什么是稀疏自编码器   先上图：   上图为有一个隐藏层的稀疏自编码器示意图。稀疏自编码器为非监督学习，其所使用的样本集$\{x^{(1)},x^{(2)},...,x^{(m)}\}$为没有类别标记的样本，我们希望令输出值$h_{W,b}(x)$与输入值$x$近似相等。 2.为什么要用稀疏自编码器   由于为数据人工增加类别标记是一个非常麻烦的过程，我们希望机器能够自己学习到样本中的一些重要特征。通过对隐藏层施加一些限制，能够使得它在恶劣的环境下学习到能最好表达样本的特征，并能有效地对样本进行降维。这种限制可以是对隐藏层稀疏性的限制。 3.稀疏性限制 3.1稀疏性   当使用sigmoid函数作为激活函数时，若神经元输出值为1，则可认为其被激活，若神经元输出值为0，则可认为其被抑制（使用tanh函数时，代表激活和抑制的值分别为1和-1）。稀疏性限制就是要保证大多数神经元输出为0，即被抑制的状态。 3.2如何限制隐藏层稀疏性   在本文开始所给出的稀疏自编码网络中，为了限制隐藏结点稀疏性，可以进行如下表示： 1. 使用$a_{j}^{(2)}$表示第2层第$j$个神经元的激活度。 2. 使用$a_{j}^{(2)}(x)$表示在给定输入值为$x$的情况下，第2层第$j$个神经元的激活度。 3. 使用$\hat{\rho_{j}}=\frac{1}{m}\sum_{i=1}^{m}[a_{j}^{(2)}(x^{(i)})]$表示第2层第$j$个隐藏神经元在训练集上的平均活跃度。 4. 使用$\rho$表示稀疏性参数，通常是一个接近0的值（如$\rho=0.05$），可以令$\hat{\rho_{j}}=\rho$，来对神经元$a_{j}^{(2)}$的稀疏度进行限制。   我们希望$\hat{\rho_{j}}$和$\rho$越接近越好，因此我们要对这两者有显著差异的情况进行惩罚，惩罚使用KL散度。 PS. 什么是KL散度？   KL散度又称相对熵，是对两个概率分布P和Q差异的非对称性度量，非对称性意味着$D(P\|Q)\neq D(Q\|P)$，$D(P\|Q)$表示用概率分布$Q$来拟合概率分布$P$时所产生的信息损耗。其定义为： 给定随机变量$s$，若为 离散型随机变量：$D(P\|Q)=\sum(p(i)log(\frac{p(i)}{q(i)}))$，此处p和q表示随机变量的分布律，$p(i)$表示随机变量$s$取$i$的概率 连续型随机变量：$D(P\|Q)=\int p(s)log(\frac{p(s)}{q(s)})d(s)$，此处$p$和$q$表示随机变量$s$的概率密度   KL散度的性质是，当$P=Q$时值为0，随着$P$和$Q$差异增大而递增。   在这里，我们是要用$\hat{\rho_j}$去逼近$\rho$，这里的KL散度是： $\sum_{j=1}^{s_2}KL(\rho \| \hat{\rho}_j)=\sum_{j=1}^{s_2}\rho log\frac{\rho}{\hat{\rho}_j}+(1-\rho)log\frac{1-\rho}{1-\hat{\rho}_j}$   于是我们在代价函数中加入这一惩罚因子，代价函数就变成： $J_{sparse}(W,b)=J(W,b)+\beta \sum_{j=1}^{s_2}KL(\rho \| \hat{\rho}_j)$   代价函数改变了，在反向传导时残差公式也要做出相应的改变，之前隐藏层第$i$个结点残差为： $\delta_{i}^{(2)}=(\sum_{j=1}^{s_{3}}W_{ji}^{(2)}\delta_{j}^{(3)})f'(z_{i}^{(2)})$ 现在应该将其换成： $\delta_{i}^{(2)}=(\sum_{j=1}^{s_{3}}W_{ji}^{(2)}\delta_{j}^{(3)}+\beta (-\frac{\rho}{\hat{\rho}_i}+\frac{1-\rho}{1-\hat{\rho}_i}))f'(z_{i}^{(2)})$ 注意：在ufldl的自编码算法和稀疏性中的后向传播算法里，提到隐藏层第$i$个结点残差为： 但根据ufldl教程反向传导算法一节的推导，残差递推公式为： 笔者自己根据公式推了一遍，同时加上自己的理解，笔者认为在中，累加的上限应该是$s_3$而不是$s_2$，因此在本文最后处的公式里写的是$s_3$，但笔者由于还是在校学生，知识有限，此处还是存在疑问，恳请看到本文的同学能在这里指点一二，感激不尽！ 优惠劵 aaronwu2 关注 关注 1 点赞 踩 17 收藏 觉得还不错? 一键收藏 知道了 1 评论 深度学习笔记：稀疏自编码器（3）——稀疏自编码算法 本文是笔者在学习稀疏自编码算法后进行的一些整理，加入了一些笔者自己的理解 复制链接 扫一扫 专栏目录 论文研究-堆栈式混合自编码器的人脸表情识别方法.pdf 09-06 针对进一步提高人脸表情识别率的问题，采用了一种基于深度学习的堆栈式混合自编码器（Stacked Hybrid Auto-Encoder，SHAE）的人脸表情识别方法。该方法的结构是由去噪自编码器（Denoising Auto-Encoder，DAE）、稀疏自编码器（Sparse Auto-Encoder，SAE）以及自编码器（Auto-Encoder，AE）组合而成的5层网络结构。为了增加网络的鲁棒性以及泛化能力，采用去噪自编码器对样本进行提取特征，为了对提取的特征进行降维以及进一步提取更抽象的稀疏特征，采用稀疏自编码器进行级联，来对特征进一步处理。训练过程首先由无标签的数据进行预训练和整体微调，对整个结构的权重进行初始化和更新调整，然后使用有标签的数据进行测试训练。在JAFFE和CK 两个数据集上实验显示，相较于单纯的堆栈式去噪自编码或者单纯的堆栈式稀疏自编码，该方法具有更好的识别效果。 Exercise10 Sparse Coding.zip_MATLAB 图像分类_sparse_稀疏编码提取_稀疏自编码器_自编 07-15 稀疏自编码，用于自动提取输入图像特征，作为分类器输入，MATLAB代码 1 条评论 您还未登录，请先 登录 后发表或查看评论 稀疏自编码器：高效学习数据特征的神经网络结构 最新发布 LuLaaa_的博客 03-07 308 通过学习数据的稀疏表示，稀疏自编码器能够帮助我们更好地理解数据的内在结构和特征，为各种机器学习任务提供强大的支持。未来，随着深度学习技术的不断发展和完善，相信稀疏自编码器将在更多领域展现出其强大的能力和潜力，为人工智能技术的进步做出更大的贡献。稀疏自编码器是一种无监督学习的神经网络结构，其主要目的是通过学习数据的稀疏表示来捕捉数据中的重要特征。与传统的自编码器相比，稀疏自编码器更加注重激活单元的稀疏性，即在激活单元中保持较少的非零值，从而使得网络能够更有效地学习到数据的抽象特征和结构。 通过堆叠稀疏去噪自动编码器进行图像处理的低级结构特征提取 04-06 在本文中，我们提出了一种基于深度神经网络，堆叠式稀疏去噪自动编码器（SSDA）的图像处理低层结构特征提取方法。 当前通过深度学习进行图像处理的方法是直接构建和学习输入/输出之间的端到端映射。 相反，我们提倡从输入数据中分析第一层学习功能。 利用学习到的低级结构功能，我们改进了两个边缘保留滤波器，这对于图像处理任务（例如降噪，高动态范围（HDR）压缩和细节增强）至关重要。 由于所提出的特征提取的有效性和优越性，由两个改进的滤波器计算的结果不会遭受包括光晕，边缘模糊，噪声放大和过度增强的缺点。 更重要的是，我们证明了从自然图像训练的特征不是特定的，并且可以提取红外图像的结构特征。 因此，通过直接使用经过训练的功能来处理任务是可行的。 （c）2017 Elsevier BV保留所有权利。 基于深度卷积稀疏自编码分层网络的人脸识别技术 04-19 面对海量人脸图像识别,传统特征提取方法难以提取有效特征,造成人脸识别准确率较低。提出了一种鲁棒的人脸特征提取算法,即利用深度卷积稀疏自编码网络自动学习人脸中丰富且识别力高的特征。该方法将卷积操作融入自编码网络中,同时加入稀疏化思想,从而形成深度卷积稀疏自编码分层网络(hierarchical deep convolution sparse autoencoder,HDCSAE);用该网络自动提取海量人脸图像的高层鲁棒特征,并将提取的特征作为SVM分类器的输入得到分类结果。在FERET人脸数据库下对该方法进行测试,识别率达到99.47%,比传统的基于提取人为定义特征的人脸识别方法的识别率有所提高。 稀疏自编码器（UFLDL教程） 07-15 稀疏自编码器的MATLAB代码实现，按照UFLDL教程给出的教程进行补充编写。 稀疏编码 周红伟讲AI 09-04 1550  稀疏编码 From Ufldl Jump to: navigation, search Contents [hide] 1 稀疏编码2 概率解释 [基于1996年Olshausen与Field的理论]3 学习算法4 中英文对照5 中文译者 稀疏编码 稀疏编码算法是一种无监督学习方法，它用来寻找一组“超完备 稀疏自动编码 FavoriteStar的博客 09-13 3559 稀疏自动编码的讲解 深度学习算法中的稀疏自编码器（Sparse Autoencoders） 抓饭不吃皮牙子 09-20 3589 在深度学习领域，自编码器（Autoencoders）是一种常用的无监督学习算法，用于学习数据的低维表示。而稀疏自编码器（Sparse Autoencoders）作为自编码器的一种变种，在一定程度上能够更好地学习到数据的稀疏特征表示。本文将介绍稀疏自编码器的基本原理、训练方法以及应用领域。 稀疏自编码器 null的专栏 11-09 1万+ 1. 自编码器 前面介绍了神经网络的基本结构，并且对于监督学习，神经网络模型可以训练出模型中的参数，然后，神经网络也可以应用在无监督学习中，无监督学习是指数据集中没有类别标签，如训练样本为{x(1),x(2),⋯ }\left \{ \mathbf{x}^{(1)},\mathbf{x}^{(2)},\cdots \right \}{x(1),x(2),⋯}，其中x(i)∈ℜn\mathbf{x}^{(i)}\in \Re ^nx(i)∈ℜn。自编码神经网络是一种无监督学习算法，其模型结构与上述的神经网络 稀疏自动编码器-学习笔记 04-19 稀疏自动编码器-学习笔记 学习笔记：深度学习目标检测算法原理实践精讲、YOLOv3实战：训练自己的数据集.zip 01-13 深度学习使用技巧和一些模型训练，实战应用开发小系统参考资料，源码参考。 适用于初学者和有经验的开发者，能够帮助快速上手深度学习模型建立学习等 深度学习（基于Tensorflow2.0）学习笔记——Day3 01-06 经过一番折腾，我们终于配置好了Tensorflow2.0的环境，接下来通过Tensorflow来一起揭开深度学习的神秘面纱吧。 实战Tensorflow分类器 首先我们打开我们昨天的Hello TF工程，进入编辑界面之后，依次点击Kernel -> ... Adam优化算法原理详解（吴恩达深度学习笔记） 01-06 在介绍Adam之前首先介绍一下momentum和RMSprop优化算法。...3.momentum算法 此算法是梯度下降算法的一种改进，在神经网络的反向传播过程中，不再只依赖当前参数的下降梯度进行参数的更新，也依赖以前几轮的参数和参数 深度学习笔记（1）——感知机 01-06 接触深度学习的第一个概念就是感知机，感知机是与门、或门的逻辑电路，是一种判别模型。常见的感知机分为与门、或门、非与门。 通过感知机，相当于是用一条直线将空间进行了划分。 二、几种感知机 1. 与门（and_gate... 深度学习笔记：主成分分析（PCA）（1）——标准化、协方差、相关系数和协方差矩阵 热门推荐 Aaron Wu 11-04 2万+ 本文是PCA的前置数学知识的笔记，包括随机变量标准化，协方差，相关系数和协方差矩阵的内容 Caffe：Windows(64位)+VS2013下的Caffe(CPU Only)安装配置 Aaron Wu 10-09 1万+ 本文为深度学习框架caffe的安装步骤介绍 深度学习笔记：稀疏自编码器（1）——神经元与神经网络 Aaron Wu 10-25 4678 本文是笔者复习稀疏自编码器内容后的第一篇笔记 c++ kmp算法字符匹配_LeetCode笔记：字符串匹配——KMP算法 05-12 KMP算法是一种字符串匹配算法，用于在一个文本串S内查找一个模式串P的出现位置。它的时间复杂度为O(n+m)，其中n为文本串的长度，m为模式串的长度。 KMP算法的核心思想是利用已知信息来避免不必要的字符比较。具体来说，它维护一个next数组，其中next[i]表示当第i个字符匹配失败时，下一次匹配应该从模式串的第next[i]个字符开始。 我们可以通过一个简单的例子来理解KMP算法的思想。假设文本串为S="ababababca"，模式串为P="abababca"，我们想要在S中查找P的出现位置。 首先，我们可以将P的每个前缀和后缀进行比较，得到next数组： | i | 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | | --- | - | - | - | - | - | - | - | - | | P | a | b | a | b | a | b | c | a | | next| 0 | 0 | 1 | 2 | 3 | 4 | 0 | 1 | 接下来，我们从S的第一个字符开始匹配P。当S的第七个字符和P的第七个字符匹配失败时，我们可以利用next[6]=4，将P向右移动4个字符，使得P的第五个字符与S的第七个字符对齐。此时，我们可以发现P的前五个字符和S的前五个字符已经匹配成功了。因此，我们可以继续从S的第六个字符开始匹配P。 当S的第十个字符和P的第八个字符匹配失败时，我们可以利用next[7]=1，将P向右移动一个字符，使得P的第一个字符和S的第十个字符对齐。此时，我们可以发现P的前一个字符和S的第十个字符已经匹配成功了。因此，我们可以继续从S的第十一个字符开始匹配P。 最终，我们可以发现P出现在S的第二个位置。 下面是KMP算法的C++代码实现： “相关推荐”对你有帮助么？ 非常没帮助 没帮助 一般 有帮助 非常有帮助 提交 aaronwu2 CSDN认证博客专家 CSDN认证企业博客 码龄9年 暂无认证 8 原创 40万+ 周排名 138万+ 总排名 7万+ 访问 等级 786 积分 40 粉丝 69 获赞 12 评论 152 收藏 私信 关注 热门文章 深度学习笔记：主成分分析（PCA）（1）——标准化、协方差、相关系数和协方差矩阵 28542 Caffe：Windows(64位)+VS2013下的Caffe(CPU Only)安装配置 14712 深度学习笔记：稀疏自编码器（3）——稀疏自编码算法 9071 压缩感知算法原理 8075 VMware虚拟CentOS 6.5在NAT模式下配置静态IP地址及Xshell远程控制配置 8013 分类专栏 深度学习 7篇 图像处理 1篇 Linux 1篇 神经网络 2篇 Java 软件工程 最新评论 Caffe：Windows(64位)+VS2013下的Caffe(CPU Only)安装配置 LeonaGreen: 请问您后来解决了吗 Caffe：Windows(64位)+VS2013下的Caffe(CPU Only)安装配置 billykan: 所以现在这个问题解决了吗 Caffe：Windows(64位)+VS2013下的Caffe(CPU Only)安装配置 super杰404: 你好，这两个caffe下载是不一样的啊，一个有windows文件，一个没有windows文件， 深度学习笔记：稀疏自编码器（3）——稀疏自编码算法 碧寒: 请问能用稀疏自动编码器对心电信号进行特征提取吗？ 压缩感知算法原理 丸子姑娘vivi: 看了那么多，就这篇算是看懂点了，谢谢博主。我在想，如果信号的稀疏度不知道该怎么办？ 您愿意向朋友推荐“博客详情页”吗？ 强烈不推荐 不推荐 一般般 推荐 强烈推荐 提交 最新文章 深度学习笔记：主成分分析（PCA）（1）——标准化、协方差、相关系数和协方差矩阵 深度学习笔记：稀疏自编码器（4）——稀疏自编码器代码练习 深度学习笔记：稀疏自编码器（2）——反向传导 2016年9篇 目录 目录 分类专栏 深度学习 7篇 图像处理 1篇 Linux 1篇 神经网络 2篇 Java 软件工程 目录 评论 1 被折叠的  条评论 为什么被折叠? 到【灌水乐园】发言 查看更多评论 添加红包 祝福语 请填写红包祝福语或标题 红包数量 个 红包个数最小为10个 红包总金额 元 红包金额最低5元 余额支付 当前余额3.43元 前往充值 > 需支付：10.00元 取消 确定 下一步 知道了 成就一亿技术人! 领取后你会自动成为博主和红包主的粉丝 规则 hope_wisdom 发出的红包 实付元 使用余额支付 点击重新获取 扫码支付 钱包余额 0 抵扣说明： 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。 余额充值