31.Encoder-Decoder（Seq2Seq）

最新推荐文章于 2025-11-08 19:40:07 发布
原创 最新推荐文章于 2025-11-08 19:40:07 发布 · 215 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能

常见网络结构

在这里插入图片描述

  • One2One
    固定大小的输入，固定大小的输出。如：图像分类任务，输入固定大小图片，输出一个类别。
    在这里插入图片描述

  • One2Many
    固定大小的输入，不固定大小的输出。如：看图说话、用词造句。

在这里插入图片描述

  • Many2One
    不固定的输入，固定的输出。如：语句情感分析、文章分类、视频分类
    在这里插入图片描述
    在这里插入图片描述

  • Many2Many同步
    固定长度的序列，输出等长的序列。如：词性标注、字符级预测、视频帧级分类
    在这里插入图片描述

  • Many2Many异步——Seq2Seq
    不固定输入，不固定输出。如：机器翻译、命题作文、语音识别。
    在这里插入图片描述

Encoder-Decoder

编码器-解码器架构：不固定输入，不固定输出。分为编码和解码两个部分：编码器处理输入序列，经过一个隐藏层输出向量。解码器把向量作为输入，输出新序列。
在这里插入图片描述

训练时

Decoder并不是把当前时刻的输出，作为下一时刻的输入。训练阶段的Decoder，输入时刻为目标序列（橙色）。
意为：如果在输出am的位置，输出的不是am，而是is。那么，下一时刻的输入（橙色am位置），依然为am。
其实好理解，这是训练阶段，他做错了，你需要纠正他。这个过程叫做Teacher Forcing。
在这里插入图片描述

预测时

decoder的当前输入，作为下一时刻输出。

在这里插入图片描述

Encoder-Decoder 编码器-解码器架构 （Seq2Seq Model）
SpaceSunflower 's ML/DL home
10-15 910
EncoderEncoder-Decoder 编码器-解码器架构 （Seq2Seq Model）
自然语言处理从零到入门 Encoder-Decoder 与 Seq2Seq
UK - UofL HW - SDE
11-03 1311
Encoder-Decoder模型主要是NLP领域里的概念。它并不是特指某种具体的算法，而是一类算法的统称。Encoder-Decoder算是一个通用的框架，在这个框架下可以使用不同的算法来解决不同的任务。将现实问题转化为数学问题，通过求解数学问题，从而解决现实问题。Encoder又称作编码器。将现实问题转化为数学问题。求解数学问题，并转化为现实世界的解决方案。把两个环节连接起来，用通用的图来表达则是下面的样子：不论输入和输出的长度是什么，中间的向量c长度都是固定的。
Encoder-Decoder：Seq2seq
m0_53881899的博客
08-02 990
Encoder-Decoder：Seq2seq
Encoder-Decoder、Seq2Seq、 以及Transformer之间的关系
咖乐部
12-02 6394
结论写在前面： Encoder-Decoder 是一种架构，范围非常广泛，只要是用一个编码结构一个解码结构的模型都是Encoder-Decoder 架构 seq2seq 和 Encoder-Decoder基本相同，只不过后者是一种抽象概念，前者是具体的模型，seq2seq可以看做是一种结构，有很多这种结构的模型。seq2seq有多种类型，N VS N，N vs 1, 1vs N, N vs M。最后一种应用最广。同时还有基于RNN的seq2seq，基于CNN的seq2seq，基于LSTM的seq2seq
AI算法之Encoder-Decoder 和 Seq2Seq
Mind_programmonkey的博客
02-15 3072
Encoder-Decoder 是 NLP 领域里的一种模型框架。它被广泛用于机器翻译、语音识别等任务。 1 什么是 Encoder-Decoder ？ Encoder-Decoder 模型主要是 NLP 领域里的概念。它并不特值某种具体的算法，而是一类算法的统称。Encoder-Decoder 算是一个通用的框架，在这个框架下可以使用不同的算法来解决不同的任务。 Encoder-Decoder ...
什么是Encoder-Decoder、Seq2Seq、Attention？
不精，不诚，不足以动人
09-07 3965
1 简介 发明时间：2014年由 [Bahdanau et al. 2014] 正式提出。 作用： Attention机制可以让神经网络更多的关注到输入中相关的信息，并减少对无关信息的注意。就像当我们看一副图，我们往往会对其中感兴趣的那部分更加注意，Attention机制也以类似的方式帮助神经网络更好的利用输入的信息。 有助于提升模型的可解释性。 1.1 Attention发明的背景 2014年, Seq2Seq模型 [Sutskever et al. 2014] 正式提出, 并以其优异的表
详解基于Encoder-Decoder的seq2seq
大脸猫的博客
10-09 1564
前言 Seq2seq全称即为sequence to sequence，简而言之就是一个序列转换成另一个序列，它经常会被用于机器翻译这项任务。对于机器翻译这项任务，有一个较为漫长的发展过程。下面我将从传统机器翻译、统计机器翻译以及神经机器翻译三个阶段进行阐述。 传统机器翻译 传统机器翻译主要由两部分实现 构建大量的翻译规则 构建一个大型的双语对照表 这需要大量的经验积累，但人的精力和思想总是有限的，特别是在遇到中文这种有着复杂语法的语言时，传统机器翻译基本就嗝屁了。 统计机器翻译 统计机器.
NLP知识普及 —— Encoder-Decoder 和 Seq2Seq
LJ的博客
06-17 1377
Encoder-Decoder Encoder-Decoder、Seq2Seq 以及他们的升级方案Attention Encoder-Decoder 算是一个通用的框架，在这个框架下可以使用不同的算法来解决不同的任务 Encoder-Decoder 这个框架很好的诠释了机器学习的核心思路：将现实问题转化为数学问题，通过求解数学问题，从而解决现实问题！ Encoder：将现实问题转化为数学问题 Decoder：求解数学问题，并转化为现实世界的解决方案 PS：① 不论输入和输出的长度是什么，中间的「向量
基于深度学习Encoder-Decoder框架的聊天机器人.zip
02-15
- 模型设计：选择合适的Encoder-Decoder结构，如Seq2Seq模型，可能需要加入注意力机制（Attention）来优化性能。 - 训练与优化：设置超参数，进行模型训练，并通过验证集调整模型以提高性能。 - 部署与监控：将...
encoder-only / decoder-only / encoder-decoder架构分析
成长之路
08-11 1244
维度参数量低（1亿-4亿）高（十亿-万亿）中高（编码+解码双倍）训练成本低中高典型任务分类/理解生成/对话翻译/摘要2025占比＜10%＞80%～10%核心争议与趋势Decoder-only主导原因零样本能力与生成灵活性满足通用AI需求。工程友好：推理并行化程度高，更适合大模型部署。Encoder-Decoder潜力研究指出：同等参数量下，Encoder-Decoder在精确任务上有未释放潜力（需系统验证）。融合架构探索前缀语言模型。
[ai笔记13] 大模型架构对比盘点：Encoder-Only、Decoder-Only、Encoder-Decoder
m0_74825526的博客
03-22 811
欢迎来到的ai空间，这是技术老兵重学ai以及成长思考的第13篇分享！最近看完《这就是chatgpt》对于大语言模型的三种架构演进图印象颇深，今日就专题盘点一下三种大模型架构理论，同时做一个简单对比。
PAB-Mamba-YoLo: VSSM 辅助 YOLO 用于断奶仔猪攻击行为检测
最新发布
AI浩
11-08 632
仔猪间的攻击行为被认为是一种有害的社会接触。监测具有强烈攻击行为的断奶仔猪对于生猪育种管理至关重要。本研究引入了一种新颖的混合模型 PAB-Mamba-YOLO，该模型集成了 Mamba 和 YOLO 的原理，用于高效视觉检测断奶仔猪的攻击行为，包括爬跨身体、鼻部撞击、咬尾和咬耳。在所提出的模型中，开发了一个新颖的 CSPVSS 模块，该模块将跨阶段部分（CSP）结构与视觉状态空间模型（VSSM）集成在一起。
九种高级 RAG 技术及其实现方法
11-06 1251
本文介绍了9种提升检索增强生成(RAG)系统性能的高级技术，包括文本分块、重新排序、元数据利用、混合搜索、查询重写、自动裁剪、上下文蒸馏以及LLM和嵌入模型微调。这些技术通过优化检索相关性和排序质量，解决基本RAG系统存在的噪声结果、无关上下文等问题。文章还推荐了Meilisearch、Weaviate等实现工具，并强调需要通过检索准确性、延迟等指标评估技术效果。这些方法能让RAG系统从简单检索升级为智能理解用户意图的上下文感知系统，显著提高生成质量。
第七章（三）VLA
qq_37087723的博客
11-04 900
VLA模型介绍，主要是RDT和pi0
Python编程基础
t358143105的博客
11-08 334
本文介绍Python编程基础，内容包括： Python简介及其特点（简洁易读、跨平台等） 环境搭建（各系统安装方法及开发工具推荐） 基础语法（变量、数据类型、运算符） 数据结构（列表、字典、元组、集合） 控制流程（条件语句、循环） 函数编程（定义、lambda表达式） 面向对象（类、继承） 文件操作（读写） 异常处理（try-except） 模块和包（导入、自定义） 高级特性（装饰器、生成器） 实战项目（简易待办应用） 以代码示例为主，适合Python初学者快速掌握核心概念。
从零开发直播美颜sdk：核心功能模块、架构设计与跨平台技术方案详解
q1031691172的博客
11-05 1104
在当下的直播与短视频浪潮中，“颜值即生产力”。一款优秀的直播美颜SDK，不仅能显著提升用户体验，更是直播平台拉新与留存的关键技术。本文将从开发者视角，拆解直播美颜SDK的核心功能模块、底层架构、跨平台实现思路与性能优化方案。
【PaddleOCR-VL】基于PaddleOCR-VL构建论文格式规范器
这里有最新的AI应用资讯，这里有最全的AI应用体验场景.
11-04 978
摘要：本项目开发了一个基于PaddleOCR-VL和大语言模型的智能文档转换系统，可将学术论文PDF自动转换为标准LaTeX格式。系统通过OCR识别文档中的文本、表格、公式等多模态内容，经Markdown中间格式处理后，利用大模型完成LaTeX格式转换。该系统支持109种语言文档处理，显著提升学术文档准备效率，适用于期刊投稿、会议论文等多种场景。关键技术包括轻量高效的PaddleOCR-VL(0.9B参数)文档解析、智能分段处理和大模型驱动的格式转换，实现从PDF到LaTeX的端到端自动化流程。
《解码者：暗流》
2401_83847752的博客
11-07 281
2023年的某次提交中，一个维护者将原本正确的 preset-jetson-h265 改为了 preset-jetson-hevc，commit message写着："fix typo in jetson preset name"——他误以为 h265 是拼写错误。当她的脑波与GPU时钟同步时，监控画面突然清晰起来——无数半透明的人影在海底城市间游弋，他们的语言是光的波动，是水的韵律。"是啊，"马珞媛轻声说，"但NVIDIA驱动真正的标识符是 preset-jetson-h265，不是 hevc。
encoder-decoder和seq2seq有什么区别
03-22
### Encoder-Decoder 架构与 Seq2Seq 模型的主要区别及联系 #### 主要差异 尽管 Encoder-Decoder 和 Seq2Seq 常被提及并互换使用，但实际上它们存在一定的层次关系。 1. **定义范围不同** - Seq2Seq 是一种特定的应用场景下的模型框架，主要用于序列到序列的任务（如机器翻译）。它通常由一个编码器（Encoder）和解码器（Decoder）组成[^1]。 - Encoder-Decoder 则是一个更通用的概念，指的是通过编码器将输入数据映射到隐空间表示，再通过解码器将其转换为目标形式的过程。这种架构可以应用于多种任务，而不仅限于序列到序列的转化[^2]。 2. **适用领域不同** - Seq2Seq 特定用于处理两个序列间的映射问题，例如源语言句子转化为目标语言句子。其核心在于如何有效地捕捉输入序列的信息并通过注意力机制传递给输出序列[^3]。 - 而 Encoder-Decoder 可以扩展至图像生成、语音合成等领域，不仅仅局限于文本或时间序列的数据类型[^4]。 #### 主要联系 两者之间有着紧密的关系： 1. **结构相似性** 无论是 Seq2Seq 还是更为广泛的 Encoder-Decoder 结构，都依赖于两部分的核心组件——编码器负责提取特征或将输入压缩成固定长度向量；解码器则基于该向量逐步生成期望的结果[^5]。 2. **技术实现共享** 在实际应用中，Seq2Seq 的具体实例化往往采用 RNN 或 LSTM/GRU 等循环神经网络作为基础单元来构建编码器和解码器。这些方法同样适用于其他类型的 Encoder-Decoder 实现当中[^6]。 以下是简单的 Python 示例展示了一个基本的 Seq2Seq 模型搭建方式： ```python import tensorflow as tf class Encoder(tf.keras.Model): def __init__(self, vocab_size, embedding_dim, enc_units, batch_sz): super(Encoder, self).__init__() self.batch_sz = batch_sz self.enc_units = enc_units self.embedding = tf.keras.layers.Embedding(vocab_size, embedding_dim) self.gru = tf.keras.layers.GRU(self.enc_units, return_sequences=True, return_state=True) class Decoder(tf.keras.Model): def __init__(self, vocab_size, embedding_dim, dec_units, batch_sz): super(Decoder, self).__init__() self.dec_units = dec_units self.batch_sz = batch_sz self.embedding = tf.keras.layers.Embedding(vocab_size, embedding_dim) self.gru = tf.keras.layers.GRU(self.dec_units, return_sequences=True, return_state=True) encoder = Encoder(vocab_size=1000, embedding_dim=64, enc_units=256, batch_sz=64) decoder = Decoder(vocab_size=1000, embedding_dim=64, dec_units=256, batch_sz=64) ``` 上述代码片段展示了如何利用 GRUs 来分别创建 encoder 和 decoder 部分，这是典型的 seq2seq 设计思路之一[^7]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值