AE（线性）模型及代码实现

最新推荐文章于 2024-05-26 22:00:18 发布
最新推荐文章于 2024-05-26 22:00:18 发布
阅读量662 收藏 1
点赞数 2
文章标签： 人工智能 神经网络 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_50753425/article/details/131453357
版权

1.自编码器

自编码器（Auto-Encoder），是一种无监督式学习模型。利用输入数据 X 本身作为监督，来指导神经网络尝试学习一个映射关系，从而得到一个重构输出 X1。

算法模型包含两个主要的部分：Encoder（编码器）和Decoder（解码器）。Encoder的作用是把高维输入X编码成低维的隐变量h，从而让神经网络提取出最有信息量的特征；Decoder的作用是把隐藏层的隐变量h还原成原来的高维度，从而重构出原来的输入。模型结构如图所示：

 自编码器的意义在于，强制自编码器学习训练数据的最显著特征，学习出隐变量h，再用h去完成一些任务。h相对于原始输入X来说，维度大大降低，可以理解为一种非线性降维的方法。

其优点在于：泛化性强，无监督，不需要数据标注。

2.线性自编码器

最为简单的自动编码器是由线性层构成的，它看起来就像是一个普通的深度神经网络DNN，只不过其输入和输出层神经元数量一致，且往往具有对称性。

随机初始化一个100维的tensor并重构：

 

Komorebi S
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
深度学习序列——自编码器(AE)模型
hit1524468的专栏
05-07 4255
1. 模型简介自编码器是无监督学习的重要的学习方法，因为，该模型实现神经网络学习恒等映射函数h，即 x = h(x）2. 模型实现# Auto-Encoder # # Author: HSW # Date: 2018-05-06 # import tensorflow as tf import numpy as np def axvier_init(fan_in, fan_out,...
线性回归模型机器学习代码实现
weiyi99999的博客
05-31 1414
模型实现需要四步：1.将数据划分为训练集和测试数据集，解决过度拟合的问题2.利用训练数据集训练模型，估计模型参数3.利用测试数据集评价模型，计算对应的均方差和决定系数4.用图像化的方式，展示模型效果实现代码如下：import os import sys import numpy as np import matplotlib.pyplot as plt import pandas as pd f...
AE（自动编码器）、VAE（变分自动编码器）、VQ-VAE（向量量化变分自编码器） 的区别和联系？
简单记录生活、学习
05-10 3641
这里主要谈一下他们的区别？
AE特效-代码
06-20
AE特效-代码
AE 常用代码
lockener的专栏
08-01 1769
http://www.cnblogs.com/alex-bn-lee/archive/2012/04/08/2437358.html
torch--Auto Encoder(AE) 示例代码
热门推荐
学渣的博客
09-04 1万+
正常情况下，AE的输入维度=输出维度，但是也可以不相等。 放一个基础的写法： # 假设输入维度是 784，输出维度是20，中间维度是3 in_size = 784 out_size = 20 #hyper params EPOCH = 500 LR = 0.005 # learning rate class AutoEncoder(nn.Module): def __init__(self): super(AutoEncoder, self).__init__()
AE开发的代码大全，详细的代码
12-24
Sub MyMacro() Dim pMxDocument As IMxDocument '地图文档 Set pMxDocument = Application.Document '获取当前应用程序的文档 MsgBox pMxDocument.FocusMap.Name '显示当前地图的名称 End Sub 2. Sub MyMacro() Dim pMxDocument As IMxDocument '地图文档 Dim pMaps As IMaps '地图集 Dim pMap As IMap '地图 Set pMxDocument = Application.Document '获取当前应用程序的文档 Set pMaps = pMxDocument.Maps '获取当前地图文档的地图集 If pMaps.Count > 1 Then '如果该地图集的地图数大于1 Set pMap = pMaps.Item(1) '获取该地图集中的第一幅地图 MsgBox pMap.Name '显示该地图的名称 End If End Sub
【模型学习-AE】自编码器、AE、AutoEncoder
HMTeen
03-26 443
【代码】【模型学习-AE】自编码器、AE、AutoEncoder。
AE二次开发常用功能代码
06-20
C#编程语言进行开发的AE二次开发相关功能模块中使用的代码，主要包括投影对象操作、将Access数据表中包含坐标的点和线转换成Shape文件、网络分析、将当前地图导出为图片、dBase file的构建、数据填充以及数据格式...
AE开发过程中常用代码
09-23
AE开发过程中常用代码比较受用.在进行二次开发的时候,比较常用的代码 这都有
用java进行AE开发的鹰眼代码
07-11
所谓的鹰眼，就是一个缩略地图，上面有一个矩形框，矩形框区域就是当前显示的地图区域，拖动矩形框可以改变当前地图显示的位置，改变矩形框的大小，可以改变当前地图的显示区域大小，从起到导航的作用。...
AE算法源代码，c语言实现
03-06
AE算法源代码，c语言实现，供参考
AE对象模型
08-04
关于AE对象模型图的很好解读，PDF文档，很好阅读与查询
AE开发常用操作代码
09-17
AE二次开发的常用代码，1.遍历所有图层2.判断图层类型3. 【转】根据图层名称找到当前的图层的两种方法4. 打开TIN数据集5. 读取选中的IElement对象6. 通过点的集合IPointCollection构建线IPolyline或面要素IPolygon7....
【030】◀▶ ArcEngine 一些实现代码
weixin_34352449的博客
04-08 427
--------------------------------------------------------------------------------------------------------- ●·● 目录： A1 ………… 实现：鼠标滑过显示要素 tipA2 ………… 实现：通过鼠标选择要素并高亮显示（ISelectionEnvironment）A3 ………… 实现：只显示...
AE自编码器代码练习注释
m0_56321289的博客
04-28 197
【代码】AE自编码器代码练习注释。
转载一个特征提取的方法——AE
weixin_42663919的博客
08-04 743
转载https://blog.csdn.net/jiaoyangwm/article/details/79725445 原理 代码 import tensorflow as tf import matplotlib.pyplot as plt from tensorflow.examples.tutorials.mnist import input_data mnist = input_data.read_data_sets("MNIST_data/", one_hot=False) learning
从零实现Llama3中文版
最新发布
wdn blog
05-26 837
从零实现Llama3中文版，该项目能在一台 16G RAM 的笔记本电脑上运行。
自注意力的ae模型pytorch代码
05-23
以下是一个简单的自注意力编码器模型的 PyTorch 代码示例： ```python import torch import torch.nn as nn class SelfAttentionEncoder(nn.Module): def __init__(self, input_size, hidden_size, num_layers): super(SelfAttentionEncoder, self).__init__() self.input_size = input_size self.hidden_size = hidden_size self.num_layers = num_layers self.embedding = nn.Embedding(input_size, hidden_size) self.attention = nn.MultiheadAttention(hidden_size, num_heads=1) self.fc = nn.Linear(hidden_size, hidden_size) self.dropout = nn.Dropout(0.1) def forward(self, input_seq): embedded = self.embedding(input_seq) embedded = embedded.permute(1, 0, 2) # transpose batch and sequence length dimension att_output, _ = self.attention(embedded, embedded, embedded) att_output = att_output.permute(1, 0, 2) att_output = self.fc(att_output) att_output = self.dropout(att_output) return att_output ``` 在这个例子中，我们定义了一个名为 `SelfAttentionEncoder` 的类，它继承自 PyTorch 的 `nn.Module` 类。该编码器接受一个输入序列，其中每个元素都是一个整数，表示输入序列中的一个标记或单词。 该模型的主要组成部分是一个嵌入层 `self.embedding`，用于将输入序列中的整数标记转换为连续向量表示。然后，我们使用 `nn.MultiheadAttention` 类来计算自注意力，该类接受三个相同的输入张量，分别用于查询、键和值。在这里，我们使用嵌入层的输出作为所有三个输入张量。 最后，我们将注意力输出传递给一个全连接层 `self.fc`，并使用 `nn.Dropout` 在训练期间对其进行正则化。最终输出是一个形状为 `(batch_size, seq_len, hidden_size)` 的张量，其中 `seq_len` 是输入序列的长度。 这只是一个简单的例子，你可以根据需要更改网络结构和超参数。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值