Transformer动画讲解 - 数据处理的四个阶段

AI大模型探索者

于 2024-07-28 09:15:00 发布

阅读量608

点赞数 11

文章标签： transformer 深度学习人工智能语言模型 ai 神经网络算法

本文链接：https://blog.csdn.net/weixin_53880910/article/details/140732672

版权

Transformer模型是一种基于自注意力机制的神经网络架构，广泛应用于自然语言处理任务，如机器翻译、文本摘要等。

在这里插入图片描述

从端到端的角度来看，数据在Transformer中的流转可以概括为四个阶段：Embedding（嵌入）、Attention（注意力机制）、MLPs（多层感知机）和Unembedding（从模型表示到最终输出）。
在这里插入图片描述

下面是对这四个阶段的简要介绍：

Embedding（嵌入）：

模型的输入通常是离散的词或符号（例如，在英文文本中，每个单词或标点符号都是一个符号）。
Embedding层将这些离散的符号转换为连续的、固定大小的向量（即词嵌入）。这些向量捕捉了符号的语义和上下文信息。
对于Transformer的编码器（Encoder）和解码器（Decoder），都会有一个Embedding层。
在解码器中，还有一个额外的位置嵌入（Positional Embedding）层，用于捕捉序列中单词的位置信息，因为Transformer不依赖于RNN或CNN等结构来捕获顺序信息。

Attention（注意力机制）：

注意力机制是Transformer的核心。它允许模型在生成当前输出时关注输入序列中的不同部分。
Transformer使用了多种注意力机制，包括自注意力（Self-Attention）、编码器-解码器注意力（Encoder-Decoder Attention）、掩码多头注意力（Mask Multi-Head Attention）等。
自注意力允许模型在同一序列的不同位置之间建立依赖关系，从而捕获序列的内部结构。
编码器-解码器注意力允许模型在生成输出时关注输入序列的特定部分。
在注意力计算过程中，会生成一个注意力权重矩阵，该矩阵描述了输入序列中每个位置对当前位置的重要性。

MLPs（多层感知机，也称为FFNN前馈神经网络）：

Unembedding（从模型表示到最终输出）：

最后

感谢你们的阅读和喜欢，我收藏了很多技术干货，可以共享给喜欢我文章的朋友们，如果你肯花时间沉下心去学习，它们一定能帮到你。

因为这个行业不同于其他行业，知识体系实在是过于庞大，知识更新也非常快。作为一个普通人，无法全部学完，所以我们在提升技术的时候，首先需要明确一个目标，然后制定好完整的计划，同时找到好的学习方法，这样才能更快的提升自己。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。那以下这些PDF籍就是非常不错的学习资源。

我们学习AI大模型必然是想找到高薪的工作，下面这些面试题都是总结当前最新、最热、最高频的面试题，并且每道题都有详细的答案，面试前刷完这套面试题资料，小小offer，不在话下。
在这里插入图片描述

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

关注