如何理解Transformer论文中的positional encoding，和三角函数有什么关系？

最新推荐文章于 2024-08-30 12:54:54 发布
最新推荐文章于 2024-08-30 12:54:54 发布
阅读量636 收藏 13
点赞数 8
文章标签： transformer 深度学习 人工智能 机器人 游戏 产品经理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_85325557/article/details/139660960
版权

大家好，我分享交流下这个问题。

Positional Encoding

掏出一张被无数人讲述的架构图。

在这里插入图片描述

在这里插入图片描述

Transformer 模型中的位置编码（Positional Encoding）是为了让模型能够考虑单词在句子中的位置。

由于 Transformer 的自注意力（Self-Attention）机制本身并不考虑单词的顺序，位置编码就成为了引入这种顺序信息的关键。

位置如图

位置编码（Positional Encoding）分别加到了输入嵌入（Input Embedding）和输出嵌入（Output Embedding）之后。

输入嵌入（Input Embedding）

输入序列，例如序列狗咬人 这些单词也叫Token（词符）。

Token 是文本序列中的最小单位，可以是单词、字符等形式。

tokens：[“狗”, " 咬人"]。Token 的词汇表中包含了所有可能情况，每个 token 预先被分配了唯一的数字 ID，称为 token ID。

最后是词嵌入（Word Embedding）。词嵌入的目标是把每个 token 转换为固定长度的向量表示

这些向量可以根据 token ID 在预训练好的词嵌入库（例如 Word2Vec 等）中拿到。

结合示例（“狗咬人描述”）

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

在这里插入图片描述

对于输入序列“狗咬人”，模型首先会获得每个单词“狗”和“咬人”的嵌入向量。

然后，模型会为序列中的每个位置生成一个位置编码向量。

最后，每个单词的嵌入向量会与其对应位置的位置编码向量相加，生成最终的向量，该向量同时包含了单词的语义信息和位置信息。

这样，即使是单词“狗”出现在不同的位置，其最终的向量表示也会因为位置编码的加入而有所不同，从而使得模型能够区分“狗咬人”和“人咬狗”。

三角函数

在这里插入图片描述

在这里插入图片描述

位置编码（Positional Encoding）不一定非要使用三角函数。虽然在原始的Transformer模型中，位置编码使用了正弦和余弦函数的固定模式，但这不是唯一的方法。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

快速回顾三角函数

Transformer 模型中的位置编码（Positional Encoding）是为了让模型能够考虑单词在句子中的位置。由于 Transformer 的自注意力（Self-Attention）机制本身并不考虑单词的顺序，位置编码就成为了引入这种顺序信息的关键。

假设你有一个长度为L的输入序列，要计算第K个元素的位置编码。位置编码由不同频率的正弦和余弦函数给出：

在这里插入图片描述

在这里插入图片描述

  • k：对象在输入序列中的位置，0<=k<L/2
  • d: 输出嵌入空间的维度
  • P(k,j): 位置函数，用于映射输入序列中k处的元素到位置矩阵的(k,j)处
  • n：用户定义的标量，由 Attention Is All You Need 的作者设置为 10,000。
  • i: 用于映射到列索引，0<=i<d/2，单个值i映射到正弦和余弦函数

你可以看到偶数位置对应正弦函数，奇数位置对应余弦函数。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

在这里插入图片描述

如果有不清楚可以看下A Gentle Introduction to Positional Encoding in Transformer Models, Part 1 ，有代码和图表展示。

如何系统的去学习大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的zi yuan得到学习提升
😝有需要的小伙伴，可以V扫描下方二维码免费领取🆓

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

img

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些P DF籍就是非常不错的学习资源。

img

在这里插入图片描述

四、AI大模型商业化落地方案

img

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。
  • 内容：
    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
  • 内容：
    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.2.1 什么是Prompt
    • L2.2.2 Prompt框架应用现状
    • L2.2.3 基于GPTAS的Prompt框架
    • L2.2.4 Prompt框架与Thought
    • L2.2.5 Prompt框架与提示词
    • L2.3 流水线工程
    • L2.3.1 流水线工程的概念
    • L2.3.2 流水线工程的优点
    • L2.3.3 流水线工程的应用
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
  • 内容：
    • L3.1 Agent模型框架
    • L3.1.1 Agent模型框架的设计理念
    • L3.1.2 Agent模型框架的核心组件
    • L3.1.3 Agent模型框架的实现细节
    • L3.2 MetaGPT
    • L3.2.1 MetaGPT的基本概念
    • L3.2.2 MetaGPT的工作原理
    • L3.2.3 MetaGPT的应用场景
    • L3.3 ChatGLM
    • L3.3.1 ChatGLM的特点
    • L3.3.2 ChatGLM的开发环境
    • L3.3.3 ChatGLM的使用示例
    • L3.4 LLAMA
    • L3.4.1 LLAMA的特点
    • L3.4.2 LLAMA的开发环境
    • L3.4.3 LLAMA的使用示例
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
  • 内容：
    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

学习计划：

  • 阶段1：1-2个月，建立AI大模型的基础知识体系。
  • 阶段2：2-3个月，专注于API应用开发能力的提升。
  • 阶段3：3-4个月，深入实践AI大模型的应用架构和私有化部署。
  • 阶段4：4-5个月，专注于高级模型的应用和部署。
这份完整版的大模型 LLM 学习zhi nan已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓

模型优化师
关注
  • 8
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
第十章（3）：Transformer之Positional encoding
安静到无声
10-27 2182
我在学习NLP的时候，围绕着我不懂得技术点，逐个击破，以此期望能够把各个模块理解的更深入，使我在今后的学习中，能够更深入的分析，让自己更通透。接下来切入正题，介绍下Transformer中需要使用的Positional encoding，它主要为Transformer这种并行计算模型，难以理解输入句子的语序而针对性设计的。
我国的AI大模型前景如何？
2401_85324918的博客
06-13 1871
目前，我国的AI大模型市场前景很好。这个产业的发展源于多领域的广泛需求，包括办公、制造、金融、医疗、政务等场景中的降本增效、生产自动化、降低风险、提高诊断准确率、提高政务服务效率等诉求。这些领域的创新和发展共同推动了我国AI大模型产业的蓬勃发展，预示着未来有更广阔的市场前景。图片来源：微博号“工信微报”目前，我国AI大模型产业已经呈现出了蓬勃发展的态势。主要的AI大模型可以划分为云侧大模型和端侧大模型两类。其中，云侧大模型又可以分为通用大模型和行业大模型；端侧大模型则主要包括手机大模型和PC大模型。
如何给AI下达精准的指令，哪些提示词对于AI是有效的？
李孟的博客
01-13 954
刚上手那会，我倾向于将 prompt 翻译为“指令”，但这并不精确。“指令”通常对应instructions，属于 prompt 中的纯指令部分，通常是一个动宾结构（做什么）。剩下的部分更多是描述（describe）。•：擅于使用 System 给GPT设定角色和任务，如“哲学大师”；•：在 System 中注入常驻任务指令，如“主题创作”；•：将复杂问题拆解成的子问题，分步骤执行，如：Debug 和多任务；•：创作长篇内容，分层提问，先概览再章节，最后补充细节，如：小说生成；•。
Ai指令不听话？那是你不懂的怎么调教！本文带你了解最基础的ai调教技巧
Mero技术博客
06-12 775
大家好，相信很多人在使用ai写文章或者其他的时候，编辑了一大堆指令给ai，结果ai回答的跟你的指令要求相差甚远，甚至毫无关系。
Transformer中的位置编码
GuiBin1的博客
06-06 1358
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言Transformer模型在进行数据处理时与传统的RNN系列算法不同，不再按照时间步进行相应特征的抽取，而是采用Attention机制。由于Attention机制在处理数据时无法捕捉到信息的输入顺序，为了能够了解对应的输入顺序，在Transformer当中通常需要加入位置编码。常见的位置编码可以分为绝对位置编码、相对位置编码及其他位置编码。一、绝对位置编码二、相对位置编码三、其他位置编码四、长度外推问题总结 前言 Trans
Transformer中的位置编码详解
qq_60245590的博客
04-19 1388
位置编码概述 位置编码的目的是为了补充序列的位置信息，这是因为自注意力机制本身不包含位置的概念（例如顺序信息）。位置编码的具体作用是，对于不同的输入序列成分，赋予其不同的位置标识，确保序列信息在不同的上下文中仍然，即使是相同的文本序列也因位置不同而有不同的含义。Transformers 使用的位置编码方法，其中每个位置/词素都被分配一个编号。到此，位置编码的输出是一个矩阵，其中每行的每一行代表序列中的一个特定词素与其位置信息相结合。下图演示了一个较小的位置编码矩阵示例的构成方式。位置编码矩阵。
关于Transformer中的Positional Encoding这件小事
Andrwin的博客
05-20 439
看到这个Positional Encoding完全不明白这是个啥。今天似乎搞懂了，整理一下。 众所周知RNN属鱼的记性不太好，学了后面忘了前面。 LTSM呢倒是一个字一个按照顺序来的，但是太慢啊，transformer是并行输入的，一次一个矩阵，这么搞要搞到地老天荒。 那么问题就来了，一次输入一批就失去了顺序，上下文没了。 这个时候Positional Encoding就要闪亮登场了，我给字一个‘’编号‘’不就好了，编号之间是存在顺序的，那么这样字和字之间也存在顺序了。 位置向量是怎么算出来的..
Transformer中的Positional Encoding详解
- **1.1 什么是Transformer模型** - Transformer模型是一种基于注意力机制的神经网络模型，由Vaswani等人于2017年提出，用于处理自然语言处理任务，取代了传统的循环神经网络和卷积神经网络结构。 - Transformer...
Positional Encoding的原理和计算
weixin_44012382的博客
01-23 1万+
前言 最近一段时间在看研究生导师发的资料，因为导师是做自然语言处理和知识图谱方向的，所以之前学的CNN的知识暂时用不上啦。NLP和KG方面的知识我之前没怎么接触过，所以最近打算写一系列博文来记录一下学习过程，如果有说得不对的地方请大佬指正。 一、Positional Encoding的介绍 先说说Positional Encoding(位置编码)的由来。我们都知道传统做NLP邻域使用的模型大多是RNN模型(比如说LSTM、Bi-LSTM)，基于RNN模型的训练是一个迭代的过程，也就是...
Transformer课程：理解语言的 Transformer 模型-位置编码及掩码 （Masking）
段智华的博客
11-25 664
Transformer课程：理解语言的 Transformer 模型-位置编码及掩码 （Masking） 目录 位置编码（Positional encoding）掩码 （Masking）参考文献星空智能对话机器人系列博客 位置编码（Positional encoding） 位置编码向量 加到嵌入（embedding）向量中， 嵌入向量没有对单词 的相对位置进行编码。因此， 加上位置编码后， 基于它们含义的相似度以及它们在句子中的位置，在 向量空间中离彼此更近。 计算位置编码的公式如下： def get_a
理解Transformer中的位置编码
zhulinniao
03-02 9557
理解Transformer中的位置编码为什么要位置编码 为什么要位置编码 【文本分类】 I like this movie because it doesn’t have an overhead history. Positive I don’tlike this movie because it has an overhead history.     Negative 【命名实体识别】...
【NLP练习】Transformer中的位置编码
Elfin_z的博客
06-14 1079
Transformer 模型中的位置编码是为了在处理序列数据时引入位置信息，以便模型能够分辨输入序列中不同位置的词或标记。其中，每个位置/索引都映射到一个向量。因此，位置编码层的输出是一个矩阵，其中矩阵的每一行代表序列中的一个编码对象与其位置信息相加。下图为仅对位置信息进行编码的矩阵示例。Transformer的位置编码一方面通过正弦和余弦函数来编码位置信息，这种编码方式能够使得不同位置的编码在空间上有良好的分布。
AI指令百科全书：1000条AI指令，一次性全给你！
01101
09-27 5551
我需要一个有影响力的营销活动大纲，让我的[理想客户角色]与[有影响力的类型]的[特定类型的内容]互动，他们可以以引人注目和真实的方式展示我们[产品/服务]的独特功能和优势”“我需要一个有影响力的营销活动大纲，让我的[理想客户角色]与[有影响力的类型]的[特定类型的内容]互动，他们可以以有趣和创造性的方式展示我们[产品/服务]的独特功能和优势”
AI工具（ChatGPT）常用指令，持续更新...
热门推荐
qwert
03-22 2万+
例如：用列点的方式总结出这篇文章的5个重点：例如：用列点的方式总结出 [3] 个 [人工智能算法领域]的 知识重点五、简历与自传例：教我python for循环，最后给我一个测验八、学习英语1、用 [中文/英文] 解释以下英文单字：[填入一个或多个单字]。请用表格的方式呈现，并且表格内须包含单字、词性、解释与例句。例：用中文解释以下英文单字：apple, orange, doctor, car, run。请用表格的方式呈现，并且表格内须包含单字、词性、解释与例句。
高效实用|ChatGPT指令/提示词/prompt/AI指令大全，基础版
IT技术博客
03-07 6328
👉 将文本内容总结为 100 字。将以下文字概括为 100 个字，使其易于阅读和理解。避免使用复杂的句子结构或技术术语。👉 根据输入的非小说类书籍标题和作者，以最容易理解的方式概括该书的核心原则。同时，提供一份可行的步骤清单，介绍如何将这些原则应用到日常生活中。我想让你充当一个生活教练。请总结一下这本由 [作者] 撰写的非小说类书籍 [书名]。用一个孩子能够理解的方式来简化核心原则。另外，你能不能给我一份可操作的步骤清单，告诉我如何将这些原则落实到我的日常生活中？
5分钟理解transformer模型位置编码
u013853733的博客
08-07 1万+
Bert模型是自然语言处理方面程碑式的进步，核心是transformer层, 而transformer是自注意力编码器，循环网络天生的文字顺序信息在自注意力编码器中没有了，而语言往往是顺序不同意思相差很大。所以transformer的作者设计了一个位置编码方式，为每个不同位置的token ...
ai快捷键常用表_掌握这些AI常用快捷键和小技巧，作图更快了~~
weixin_39758392的博客
11-27 2089
AI常用快捷键有哪些？AI是一款非常好用的矢量图形处理软件，和PS是兄弟软件，俗称设计软件两件套。为了大家更好的使用AI软件，为大家整理了AI快捷键大全与使用小技巧，希望能给帮到你。工具箱(多种工具共用一个快捷键的可同时按【Shift】加此快捷键选取，当按下【CapsLock】键时，可直接用此快捷键切换)移动工具 【V】直接选取工具、组选取工具 【A】钢笔、添加锚点、删除锚点、改变路径角...
AI自动采集教学行为——用AI来做机器学习部分和深度学习部分（含torch和cuda）包含机器学习模型和bert模型的使用
最新发布
东方
08-30 174
这个错误是由于 .whl 文件名中的空格导致的。Python 的 pip 工具不允许 .whl 文件名中包含空格。python 机器学习文本分类，读取合并后的excel，‘句子’列是输入，‘标注’列是输出，怎么写代码需要什么库 要最简单的。重命名文件：将 .whl 文件名中的空格替换为下划线 _ 或直接删除空格。提取“句子”列，‘标注’列和‘上下文情境’这三列。按顺序把excel中的这三列拼接在一起。本来走的是autodl的设备，合并输出成一个xlsx文件。之后会报错，需要重命名。要遍历当前文件夹下从。
将swin transformer模型中的Positional Encoding形式替换为Sinusoidal Positional Encoding，并给出相应的pytorch代码
05-25
Swin Transformer使用的是Learned Positional Encoding，如果要将其替换为Sinusoidal Positional Encoding，需要进行一些修改。 首先，可以定义一个Sinusoidal Positional Encoding的函数，如下所示： ```python import math import torch import torch.nn as nn class SinusoidalPositionalEmbedding(nn.Module): def __init__(self, d_model, max_len=512): super().__init__() self.d_model = d_model self.max_len = max_len pe = torch.zeros(max_len, d_model) position = torch.arange(0, max_len, dtype=torch.float).unsqueeze(1) div_term = torch.exp(torch.arange(0, d_model, 2).float() * (-math.log(10000.0) / d_model)) pe[:, 0::2] = torch.sin(position * div_term) pe[:, 1::2] = torch.cos(position * div_term) pe = pe.unsqueeze(0).transpose(0, 1) self.register_buffer('pe', pe) def forward(self, x): x = x * math.sqrt(self.d_model) seq_len = x.size(1) pe = self.pe[:seq_len, :] pe = pe.repeat(x.size(0), 1, 1) x = x + pe.to(x.device) return x ``` 然后，在Swin Transformer的构造函数中，将使用Learned Positional Encoding的部分替换为Sinusoidal Positional Encoding，如下所示： ```python import torch import torch.nn as nn from einops.layers.torch import Rearrange class SwinTransformer(nn.Module): def __init__(self, img_size=224, patch_size=4, in_chans=3, num_classes=1000, embed_dim=96, depths=[2, 2, 18, 2], num_heads=[3, 6, 12, 24], window_size=7, mlp_ratio=4., qkv_bias=True, qk_scale=None, drop_rate=0., attn_drop_rate=0., drop_path_rate=0.): super().__init__() norm_layer = nn.LayerNorm self.num_classes = num_classes self.num_features = self.embed_dim = embed_dim # stochastic depth decay rule dpr = [x.item() for x in torch.linspace(0, drop_path_rate, sum(depths))] # stochastic depth decay rule # patch embedding self.patch_embed = nn.Conv2d(in_chans, embed_dim, kernel_size=patch_size, stride=patch_size) self.norm1 = norm_layer(embed_dim) # pos embedding self.pos_embed = SinusoidalPositionalEmbedding(embed_dim, max_len=(img_size//patch_size)**2+1) # swin transformer blocks self.blocks = nn.ModuleList([ SwinTransformerBlock(dim=embed_dim, num_heads=num_heads[i], window_size=window_size, shift_size=window_size // 2 if i == 0 else 0, mlp_ratio=mlp_ratio, qkv_bias=qkv_bias, qk_scale=qk_scale, drop=drop_rate, attn_drop=attn_drop_rate, drop_path=dpr[sum(depths[:i]):sum(depths[:i+1])]) for i in range(len(depths))]) # norm before classifier self.norm2 = norm_layer(embed_dim) # classification head self.head = nn.Linear(embed_dim, num_classes) if num_classes > 0 else nn.Identity() def forward_features(self, x): x = self.patch_embed(x) x = self.norm1(x) x = x.flatten(2).transpose(1, 2) x = self.pos_embed(x) for i, blk in enumerate(self.blocks): x = blk(x) x = self.norm2(x) return x def forward(self, x): x = self.forward_features(x) x = x.mean(dim=1) # global average pooling x = self.head(x) return x ``` 这样，就完成了Swin Transformer模型中Positional Encoding形式的替换。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值