什么是编码器、解码器？（CNN\RNN....)

最新推荐文章于 2024-08-04 23:35:38 发布
最新推荐文章于 2024-08-04 23:35:38 发布
阅读量1.4w 收藏 94
点赞数 23
分类专栏： 机器学习 文章标签： cnn rnn 深度学习 transformer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/maggieyiyi/article/details/126904114
版权

目录

1、CNN角度

 2、RNN角度

 3、编码器解码器架构

1、CNN角度

        以卷积神经网络为例，输入为一个猫，进行特征提取后输出图片类别。

因此，这里可以简单的理解为：特征提取过程即为编码器，而分类过程即为解码器。

即：

编码器：将输入编程成中间表达式形式（特征）【特征抽取】

解码器：将中间表示解码成输出。【分类器】

 2、RNN角度

以循环神经网络为例，输入为一个文本，进行特征提取后输出。

因此，

编码器：将文本表示成向量【特征抽取】

解码器：向量表示成输出【分类器】

 3、编码器解码器架构

一个模型被分为两块：

1.编码器处理输出

2.解码器生成输出

使用编码器-解码器架构模型，编码器负责表示输入，解码器负责输出

 

maggieyiyi
关注
  • 23
    点赞
  • 踩
  • 94
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
神经网络中的编码器和解码器
禅与计算机程序设计艺术
07-25 7895
作者：禅与计算机程序设计艺术 1.简介 编码器-解码器（Encoder-Decoder）结构在机器翻译、图像描述生成、视频理解等任务中扮演着重要角色。在深度学习领域里，其成功应用于了各种任务中，如图像分类、序列到序列模型（如机器翻译）。同时，编码器-解码器也被广泛用于自然语言处理任务。如循环神经网（RN
深度学习架构（CNN、RNN、GAN、Transformers、编码器-解码器架构）的友好介绍。
gongdiwudu的专栏
04-10 2621
本博客旨在对涉及卷积神经网络 （CNN）、递归神经网络 （RNN）、生成对抗网络 （GAN）、转换器和编码器-解码器架构的深度学习架构进行友好介绍。让我们开始吧！！
2.自编码器(去噪自编码器，DAE)
Micheal 超 的博客
04-01 2433
介绍： 自编码器(AutoEncoder)是深度学习中的一类无监督学习模型，有encoder和decoder两个部分组成 encoder 将原始表示编码成隐层表示 decoder 将隐层表示解码成原始表示 训练目标为最小化重构误差 隐层特征维度一般低于原始特征维度，降维的同时学习更稠密更有意义的表示 自编码器主要是一种思想，encoder和decoder可以由全连接层、CNN或RNN等模型实现...
9.2.1 简述图像分割中经常用到的编码器-解码器网络结构的设计理念。
seasonsyy的博客
06-17 889
9.2.1 简述图像分割中经常用到的编码器-解码器网络结构的设计理念。
深度学习体系结构——CNN, RNN, GAN, Transformers, Encoder-Decoder Architectures算法原理与应用
知来者逆的博客
04-14 2541
详细介绍深度学习架构卷积神经网络（CNN）、递归神经网络（RNN）、生成对抗网络（GAN）、变换器和编解码器架构。
什么是编码器？什么是解码器？
qq_52265298的博客
01-19 2075
解码器（Decoder）和编码器（Encoder）是在数字信号处理和多媒体领域中经常遇到的两个概念。它们的主要联系和区别如下：总的来说，编码器和解码器在数字信号处理中扮演着重要的角色，它们一起工作以实现数据的压缩、传输和恢复。编码器负责将原始数据压缩和编码，而解码器则负责解码和恢复原始数据。
CNN RNN 与transformer简介
weixin_46042619的博客
03-17 2452
帮助我们简单且快速的理解。
编码器的输出和编码器解码器的连接
AI大模型应用之禅
05-29 815
编码器的输出和编码器-解码器的连接 作者：禅与计算机程序设计艺术 1. 背景介绍 1.1 编码器-解码器模型概述 1.1.1 编码器的作用
如何提高深度学习中数据运行的稳定性
weixin_71458119的博客
08-04 196
在深度学习中，模型的训练通常会受到随机性因素的影响，如参数初始化、数据加载顺序等。这会导致每次训练得到的结果有所不同。通过增加训练轮数（epochs），可以让模型在数据上更充分地训练，从而减少不稳定性。通过设置随机种子，可以使得每次训练过程中的随机性操作（如参数初始化、数据加载顺序等）保持一致，从而提高结果的稳定性。通过 K 折交叉验证，可以更全面地评估模型的性能，从而减少由于训练数据集划分带来的不稳定性。此时要进行修改的是batch_size的大小，指的是一次性选取的样本数量为多少。
深度学习中的早停法
weixin_71458119的博客
08-04 193
当验证集损失值低于当前最佳损失时，更新最佳损失并重置耐心计数器。如果验证集损失连续不降，耐心计数器超过设定的耐心值时，早停就会被触发，训练过程停止。当验证集损失连续几个epoch没有下降或者停止减少时，表示模型可能已经过拟合或者陷入局部最优点，这时候早停就会被触发。早停法（Early Stopping）是一种用于防止模型过拟合的技术，在训练过程中监视验证集（或者测试集）上的损失值。总结来说，早停的设立限制是基于耐心参数和最佳损失值，用来判断模型是否应该停止训练以避免过拟合。每次验证后，如果当前的。
深度学习中常用的激活函数和损失函数
普通人能赶追天才的方法只有坚持
08-04 278
ReLU在正数区域提供线性响应，有助于加速训练并减少梯度消失问题，而Sigmoid在所有区域都是非线性的，输出范围是0到1，适用于二分类问题，但在深网络中容易造成梯度消失。Softmax函数将模型的输出转化为概率分布，适用于多分类问题，并确保所有类别的概率之和为1。交叉熵损失函数衡量模型预测的概率分布与实际标签之间的差异，它鼓励模型对正确的类别分配更高的概率，对错误的类别分配更低的概率。其中，y 是实际的概率分布（），而 p 是模型预测的概率分布。
模型实战（25）之 基于LoFTR深度学习匹配算法实现图像拼接
yohnyang的博客
08-04 60
模型实战（25）之 基于LoFTR深度学习匹配算法实现图像拼接
深度学习中对于正则化的理解
普通人能赶追天才的方法只有坚持
08-04 258
深度学习中正则化是用来解决过拟合问题的，常见的正则化方法有L1正则、L2正则、BN、Dropout。
一种估计贝叶斯检索问题后验分布的神经网络方法
最新发布
liangdaojun的博客
08-04 497
从遥感测量中反演大气量是一个逆问题，通常无法给出唯一、精确的解。测量和建模误差以及观测系统有限的灵敏度使得无法为给定的观测分配单一、离散的解。因此，有意义的反演应该由反演值和不确定性估计组成，不确定性估计描述了可能产生与观测值相似的测量值的一系列值。然而，即使反演方法允许对反演不确定性进行明确建模，它们的计算和表示通常也只能以近似的方式进行。贝叶斯框架提供了一种处理检索问题的不适定性及其相关不确定性的正式方法。
深度学习复盘与论文复现F
QuantumYou的博客
08-04 800
解码器同样包含多个层，但每一层除了自注意力层和前馈全连接层外，还增加了一个编码器-解码器注意力层（Encoder-Decoder Attention Layer），用于将解码器当前位置的输入与编码器的所有位置进行交互，以获得与目标序列有关的信息。左侧的搜索方式为贪心搜索，每次找到当前条件概率最大的选项进行预测，但是这样可能会导致之后的条件概率较小，从而导致最终的联合概率较小，生成的序列不优。我们的目标是找到一个最有序列，他的联合概率，也就是每步之间的条件概率的乘积，最大。
每天五分钟深度学习：向量化方式完成逻辑回归模型的参数更新
huanfeng_AI的博客
08-04 573
上一节课程中，我们学习了m个样本的前向传播的向量化，我们可以同时完成m个样本的前向传播，也就是m个样本z的计算，然后a的计算。本节课程我们将学习dw和db参数更新的向量化，最终得到整个逻辑回归算法的参数更新的向量化表示。
【人工智能基础四】循环神经网络（RNN）与长短时记忆网络（LSTM）
hiliang521的博客
08-04 813
【人工智能基础四】循环神经网络（RNN）与长短时记忆网络（LSTM）
【LLM基础知识点整理】大模型的量化和蒸馏
zxlp520的博客
08-04 533
大模型量化是指将深度学习模型中使用的浮点数表示转换为低精度整数表示的过程。这通常涉及选择合适的量化比特数和方法，以减少内存占用和推理时间，同时尽量不损失太多准确性。
编码器解码器神经网络
08-12
编码器-解码器（Encoder-Decoder）神经网络结构在深度学习领域中扮演着重要的角色，被广泛应用于机器翻译、图像描述生成、视频理解等任务。编码器负责将输入数据编码成一个固定大小的向量表示，而解码器则将这个向量表示解码为目标数据。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [神经网络中的编码器和解码器](https://blog.csdn.net/universsky2015/article/details/131908195)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值