Deep learning: autoencoders and sparsity

最新推荐文章于 2019-05-05 15:13:26 发布
最新推荐文章于 2019-05-05 15:13:26 发布
阅读量722 收藏
点赞数
分类专栏： 算法 文章标签： deep learning 神经网络 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/oYueManXiLou1234/article/details/38533765
版权

背景

      稀疏模式自动编码是深度学习神经网络的一个拓展，也是深度学习常见的一个理论。学习稀疏模式自动编码首先需要了解神经网络的背景知识，包括网络结构，fp和bp。不同于常规的有监督神经网络，稀疏模式自动编码是一种不需要标记样本的算法，在算法中样本的标记设为其自身, y(i)=x(i)。换句话说，该算法尝试通过学习网络参数，使得最后的假设h(x)=x。


算法思想

       稀疏模式自动编码的目标在于希望能够通过添加一些限制条件发现网络中一些有趣的东西。这个限制条件可能有两种，第一，网络中隐含层的单元数很小，而且远远小于输入层，那么就需要对输入层做一个压缩，这看起来非常困难的。但是，如果输入的特征值是有关联的，那么就可以通过这些关联性来压缩输入值，这看起来跟PCA有点像。第二，在网络中加一个稀疏性约束。定义 隐含层的激活为：

我们的目标是使得其中 \textstyle \hat\rho_j 是稀疏参数，通常为0.05。可以看出这是一个很小的数，如果要达到这个目标那么隐含层的激活中大多数的神经单元的激活要接近于0。下一步是计算 \textstyle \hat\rho_j 和 \textstyle \rho的距离，该算法用的是KL距离，该距离可以用来度量两个伯努利随机变量的分布，这两个伯努利分布的均值分别为 \textstyle \hat\rho_j 和 \textstyle \rho。


KL距离可以通过一下的公式计算

当\textstyle \rho=0.2时，KL距离如下图所示，当\textstyle \hat\rho_j和\textstyle \rho越近，KL距离越小。


在原来的损失函数的基础上添加一个稀疏惩罚项，损失函数可以表达为：
\textstyle \beta是稀疏惩罚项的权重。那么隐含层的残差可以计算为：



算法求解

最后还是通过梯度下降法求解系数：



疯狗大队大队长
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Autoencoders and Sparsity（一）
weixin_30508309的博客
09-13 72
An autoencoder neural network is an unsupervised learning algorithm that applies backpropagation, setting the target values to be equal to the inputs. I.e., it uses . Here is an autoencoder: The a...
[机器学习] UFLDL笔记 - Autoencoders and Sparsity
WangBo的机器学习乐园
10-07 2947
本文的理论部分主要整理自UFLDL的“Autoencoders and Sparsity”章节和一些经典教材，同时也参考了网上的一些经典博客，包含了Autoencoders和Sparsity的一些基本概念、应用场景和推导，供读者参考。
一个非常好的理解autoencoders的例子
LanQiuChaoRen的专栏
10-21 1875
深度学习有一个重要的概念叫autoencoder，这是个什么东西呢，本文通过一个例子来普及这个术语。          简单来说autoencoder是一个压缩编码器，也就是对input的一坨东西通过变换，输出和input一样的东西。例如input是一个鸡，ouput也是一个鸡，input是一个鸭，output也是一个鸭。学术一点说就是找到一个函数能够使得 Function(input) =
UFLDL 笔记 04 自编码算法与稀疏性 Autoencoders and Sparsity
bea_tree的博客
04-19 4649
自编码算法和稀疏性，完美！
Autoencoder
Touch_Dream的博客
08-23 5528
转载：http://blog.csdn.net/marsjhao/article/details/73480859 一、什么是自编码器（Autoencoder） 自动编码器是一种数据的压缩算法，其中数据的压缩和解压缩函数是数据相关的、有损的、从样本中自动学习的。在大部分提到自动编码器的场合，压缩和解压缩的函数是通过神经网络实现的。 1）自动编码器是数据相关的（data-specific
Statistical Learning with Sparsity - The Lasso and Generalizations
06-18
本书《Statistical Learning with Sparsity - The Lasso and Generalizations》由统计学领域的三位专家编写，包括斯坦福大学的Trevor Hastie教授、Robert Tibshirani教授以及加州大学伯克利分校的Martin Wainwright...
HSCS: Hierarchical Sparsity Based Co-saliency Detection for RGBD Images
02-08
### HSCS: Hierarchical Sparsity Based Co-saliency Detection for RGBD Images #### 概述 《HSCS: Hierarchical Sparsity Based Co-saliency Detection for RGBD Images》是一篇发表在IEEE Transactions on ...
deep learning UFLDL tutorial
10-09
首先，标题“deep learning UFLDL tutorial”表明这份材料是一份深度学习教程，特别使用了UFLDL（Unsupervised Feature Learning and Deep Learning）工具和框架，它是由斯坦福大学开发的一个免费资源，旨在通过非...
deep learning 教程
08-28
自编码器（Autoencoders）和稀疏性（Sparsity）是深度学习中的核心概念。自编码器是一种特殊类型的神经网络，它尝试将输入复制到输出，通常用于学习数据的压缩表示。而稀疏性是自编码器在学习过程中引入的特性，它...
稀疏的统计学习：套索和概化Statistical Learning with Sparsity: The Lasso and Generalizations
11-15
计算和信息技术的爆炸式增长在医学，生物学，金融和市场营销等各个领域带来了大量数据。 本书在一个通用的概念框架中描述了这些领域中的重要思想。
似然函数与最大似然估计、交叉熵概念与机器学习中的交叉熵函数
记忆碎片的博客
12-22 3718
文章目录似然函数与最大似然估计似然的概念似然函数最大似然估计伯努利分布伯努利分布下的最大似然估计高斯分布高斯分布下的最大似然估计信息量、熵、相对熵、交叉熵、机器学习中的交叉熵信息量熵相对熵（KL散度） 似然函数与最大似然估计 似然的概念 “似然”用通俗的话来说就是可能性，极大似然就是最大的可能性。 似然函数 似然函数是关于统计模型中的一组概率的函数(这些概率的真实值我们并不知道)，似然函数的因变量...
递归全排列
oYueManXiLou1234的专栏
07-20 718
#include void swap(char *p,int a, int b) { char m; m = p[a]; p[a] = p[b]; p[b] = m; } int isSwap(char *p,int a, int b) { int i,result; for(i=a;i<b;i++) { if(p[i]==p[b]) { return 0; } } r
深度学习模型---稀疏编码 Sparse Coding
女王の专属领地
10-26 9699
前言 　　本文的理论部分主要整理自UFLDL的“Sparse Coding”章节和一些经典教材，同时也参考了网上的一些经典博客，包含了Sparse Coding的一些基本概念、优化方法、数学推导和应用场景，供读者参考。 预备知识 （1）稀疏线性模型 X为一个n为特征向量，可以是一个小波信号，可以是一副图片等。 D为标准化的基础矩阵，由组成元素的基本原子构成，也称为字典。在...
深度学习系列（九）：详解工具箱参数及网络一种改进方式-dropout
我爱智能
01-15 1万+
本片主要介绍一种对于网络参数的改进方式，这也是大牛Hinton在前两年对深度网络的一个工作，主要的方法就是dropout，思想就是在训练网络的时候随机扔掉一些网络权值进行训练，其方法在前面的DeepLearnToolbox工具箱中也有集成，通过在这个工具箱中设置dropout参数可以直接实现网络中加入dropout的算法思想，本文旨在研究该工具箱时涉及到了dropout这块然后希望弄明白这块。关于d
RGB字符排序
brucehb的专栏
10-07 2282
给定一个字符串里面只有"R" "G" "B" 三个字符，请排序，最终结果的顺序是R在前 G中 B在后。 要求：空间复杂度是O(1)，且只能遍历一次字符串。 void fun(char a[], int n) { int i = -1; while (a[i+1] == 'R') { i++; } int j = n; while (a[j-1] == 'B') { j
深度学习系列（四）：什么是稀疏编码
热门推荐
我爱智能
12-23 2万+
上节使用简单方法阐述了自编码问题与简单操作，本节将正式开始探索深度学习的相关问题，第一个问题就是稀疏编码。关于稀疏编码需要理解的几点： （1）什么是稀疏编码？ （2）为什么要稀疏编码? （3）稀疏编码的实现途径。首先什么是稀疏编码？在这之前先看看稀疏表示。 从一个简单的例子说起，相信大多数人学过线性代数或者矩阵论之类的课程吧，再线性代数中，最初始的时候就会学到关于如何判断一大堆向量线性的相关
)RGB排序，一个字符串，里面只有三种字符R G B，所有的R都在G的前面，所有的G都在B的前面。将给定字符串按照此规律排序。要求不允许用辅助空间，复杂度控制在O(N)。遍历一遍就排好序。
鑫的专栏
11-05 1529
#include "stdafx.h" #include "stdlib.h" #include #include #include #include using namespace std; //算法中谈到了怎样不增加任何空间，交换两个元素的位置，在前面中介绍的是char型的加减法实现的，在做加减法实现的过程中要防止溢出，所以我这里换了个方法，使用异或实现！ void swap(s
深度学习大神都推荐入门必须读完这9篇论文
深度学习世界
01-16 1479
来源： 大数据挖掘DT数据分析ID: datadwIntroduction        卷积神经网络CNN，虽然它听起来就像是生物学、数学和计算机的奇怪混杂产物，但在近些年的机器视觉领域，它是最具影响力的创新结果。随着Alex Krizhevsky开始使用神经网络，将分类错误率由26%降到15%并赢得2012年度ImageNet竞赛（相当于机器视觉界的奥林匹克）时，它就开始声名大噪了。从那时起，
通俗理解稀疏性sparsity假设：历史、数学表示、物理意义
漫步量化
05-05 8456
稀疏性假设的历史 （1）稀疏性Sparsity 百度百科 Sparsity is the condition of not having enough of something;the property of being scanty or scattered; lacking denseness. [Vocabulary.com] 稀疏性是一个应用较为广泛的概念，在不同行业领域都有其...
带有sparsity参数的SparseTrans former代码
最新发布
06-09
以下是一个带有sparsity参数的稀疏Transformer的完整代码： ```python import torch import torch.nn as nn import torch.nn.functional as F from torch.autograd import Variable class SparseSelfAttention(nn.Module): def __init__(self, d_model, num_heads, sparsity, dropout=0.1): super(SparseSelfAttention, self).__init__() self.d_model = d_model self.num_heads = num_heads self.sparsity = sparsity self.dropout = nn.Dropout(dropout) assert d_model % num_heads == 0 self.depth = d_model // num_heads self.qkv = nn.Linear(d_model, 3 * d_model) self.proj = nn.Linear(d_model, d_model) self.softmax = nn.Softmax(dim=-1) def forward(self, x, mask=None): batch_size, seq_len, d_model = x.size() qkv = self.qkv(x).view(batch_size, seq_len, 3, self.num_heads, self.depth) qkv = qkv.permute(2, 0, 3, 1, 4) q, k, v = qkv[0], qkv[1], qkv[2] scores = torch.matmul(q, k.transpose(-2, -1)) scores = scores / (self.depth ** 0.5) if mask is not None: scores = scores.masked_fill(mask == 0, -1e9) if self.sparsity > 0: # Calculate sparsity pattern num_sparse_tokens = int(seq_len * self.sparsity) sparse_indices = torch.topk(scores.view(batch_size, self.num_heads, -1), num_sparse_tokens, dim=-1, largest=False)[1] # Create sparse mask mask = torch.ones_like(scores) mask.scatter_(-1, sparse_indices, 0) # Set sparse scores to -inf to exclude them from softmax scores = scores.masked_fill(mask == 0, -1e9) attn = self.softmax(scores) attn = self.dropout(attn) context = torch.matmul(attn, v) context = context.permute(1, 2, 0, 3).contiguous().view(batch_size, seq_len, -1) output = self.proj(context) return output class SparseTransformer(nn.Module): def __init__(self, d_model, num_heads, num_layers, sparsity, dropout=0.1): super(SparseTransformer, self).__init__() self.d_model = d_model self.num_heads = num_heads self.num_layers = num_layers self.sparsity = sparsity self.dropout = nn.Dropout(dropout) self.layers = nn.ModuleList([SparseSelfAttention(d_model, num_heads, sparsity, dropout) for _ in range(num_layers)]) def forward(self, x, mask=None): for layer in self.layers: x = x + layer(x, mask=mask) x = self.dropout(x) return x ``` 上述代码中，在SparseSelfAttention类的初始化函数中增加了一个sparsity参数，用于控制稀疏程度。在forward函数中，当sparsity大于0时，会根据scores计算出一个稀疏模式，然后创建一个稀疏掩码，并将稀疏位置的scores设置为负无穷以排除它们的影响。通过这种方式，可以实现带有稀疏控制的Transformer模型。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值