大模型基础组件之位置编码-万字长文全面解读LLM中的位置编码与长度外推性（上）

最新推荐文章于 2024-09-12 18:02:47 发布
最新推荐文章于 2024-09-12 18:02:47 发布
阅读量313 收藏
点赞数
分类专栏： LLM 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/132138320
版权
本文深入探讨Transformer中的位置编码，包括为何需要位置编码、正弦位置编码的性质与应用、不同类型的绝对和相对位置编码，以及混合和多维位置编码。同时，文章讨论了位置编码的长度外推性问题，并介绍了Decoder位置编码的特殊性。内容覆盖了从经典到最新研究的各种位置编码方法，旨在全面理解LLM中的位置编码机制。
摘要由CSDN通过智能技术生成

0.序章

本文将介绍LLM中的主流位置编码及其实现，作为OpenLLM 009，也作为LLM反思系列的第三篇！

LLM基础组件

  • tokenization&tokenizers：分词算法与分词器，done
  • 位置编码
  • attention机制
  • 基础架构与attention mask
  • 归一化
  • 激活函数
    LLM炼丹术
  • 预训练系列
  • PEFT：参数高效微调技术，done
  • RLHF
  • ChatGPT的最小复现实践
  • 文本生成系列

抛砖引玉

下面提供一些问题供大家思考，也许带着疑问会有更好的阅读效果，希望可以起到抛砖引玉的作用。

  • transformer的位置编码是怎样的？
  • 位置编码为什么可以和词向量直接相加？
  • BERT的位置编码是怎样的？为什么和transformer不同？
  • LLaMA的位置编码是怎样的？
  • GLM的位置编码又是怎样的？
  • 有哪些位置编码？有何不同？
  • 训练好的位置编码长度如何外推？
了解本专栏 订阅专栏 解锁全文 超级会员免费看
u013250861
关注
专栏目录
订阅专栏
LLM - 理解 旋转位置编码(RoPE) 与 绝对相对位置编码 之间的优势
Mystra
07-10 729
Transformer 是基于 多头自注意力机制 (Multi Head Self-Attention, MHSA) 的算法，然而，MHSA 对于位置不敏感，需要添加 位置编码(PE)，主要包括绝对位置编码 (默认的 Transformer 位置编码)、相对位置编码，以及主流的旋转位置编码 (Rotary Position Embedding, RoPE)。
[LLM] 自然语言处理---Transformer 位置编码介绍
摩登都市天空---专栏
09-14 2921
2017年来自谷歌的Vaswani等人提出了Transformer模型，一种新颖的纯粹采用注意力机制实现的Seq2Seq架构，它具备并行化训练的能力，拥有非凡的性能表现，这些特点使它深受NLP研究人员们的喜欢，成为NLP领域的标志性模型之一。因此，当人们提到Transformer模型时，多头注意力机制（Multi-Head Attention）成为人们讨论最多的创新点，正如前面所说，这种机制让Transformer变得非常强大。 其实，原文使用到了一种非常有意思的技巧——Positional Encodi
LLM - 旋转位置编码 RoPE 代码详解
BITDDD小栈
10-12 2867
旋转位置编码 RoPE 代码详解与复现。
LLM - 通俗理解位置编码与 RoPE
BITDDD小栈
09-26 2177
RoPE 旋转位置编码通俗解释。
一文搞懂ChatGPT相关概念和区别：GPT、大模型、AIGC、LLM、Transformer、羊驼、LangChain…..
人工智能讲师分享前沿技术
05-22 8436
同样，"man" 和 "woman" 的词向量也会非常接近，因为他们都代表性别。Diffusion算法针对任意噪声图片去噪后得到的图片是不可控的，如果让Diffusion算法能够接受文字的提示从而生成想要的图片，这就是当下AIGC的另一个大热点，AI绘画：只输入文字描述，即可自动生成各种图像，其核心算法-Stable Diffusion，就是上面提到的文字到图片的多模态算法CLIP和图像生成算法DIffusion的结合体，CLIP就是作为作为文字提示用的，进而对DIffusion施加影响生成所需的图片。
深度探讨大模型位置编码及其外推性
夏栀的博客
07-16 2694
现如今很多大模型都开始支持超过4096长度的推理，例如GPT-4支持超过30k，ChatGLM2-6B也支持最长为32K的文本，但是由于显存资源的限制，这些大模型在真正在训练过程中不一定要训练这么长的文本，通常在预训练时只会设计到4k左右，因此**如何确保在模型推理阶段可以支持远远超过预训练时的长度**，是目前大模型的核心问题之一，我们将这一问题归为**大模型的外推性**。
万字长文再论大语言模型的位置编码及其外推性
Paper weekly
01-06 664
©作者 |绝密伏击单位 |奇虎360算法专家现在，众多大型模型已开始支持长文本的推理，如最新的 GPT4 Turbo 能处理超过 128k 的内容，而 Baichuan2 也可应对最长为 192K 的文本。但受显存资源约束，这些模型在训练时并不一定会处理如此长的文本，其预训练阶段通常仅涉及约 4k 的内容。因此，如何在推理阶段确保模型能处理远超预训练时的文本长度，已成为当前大型模型面临的核心问...
51-2 万字长文，深度解读端到端自动驾驶的挑战和前沿
AIgraphX
02-19 2833
自动驾驶社区见证了采用端到端算法框架的快速增长，这些方法利用原始传感器输入来生成车辆运动规划，而不是专注于检测和运动预测等单个任务。我们对250多篇论文进行了全面分析，深入研究了几个关键挑战，包括多模态、可解释性、因果混淆、稳健性和世界模型等，还讨论了大模型和视觉预训练的当前进展，以及如何将这些技术纳入端到端的自驾框架。
大模型综述：万字长文详解AI大模型的原理、应用与未来趋势
Aweii__的博客
07-17 1340
在自然语言处理（NLP）和人工智能（AI）的浩瀚星空中，大语言模型（Large Language Models, LLMs）如同一颗璀璨的新星，正在改变我们与语言、与机器交互的方式。本章将带您踏上一段探索之旅，揭示大语言模型的发展历程、独特魅力及其在现实世界中的多彩应用。
LLM系列(0)：行业大模型落地服务在全业务场景的应用与探索【大模型智能问答、NL2SQL、文档智能分析智能生成、AI智能体决策等】
丨汀、的博客
04-26 825
行业大模型落地服务：在全业务场景的应用与探索【大模型智能问答、NL2SQL、文档智能分析智能生成、AI智能体决策等】
2023年12月数据月报
SmartSi
01-06 1669
2023年12月数据月报，为您准备了160多篇大厂实践案例
生成式人工智能在新加坡的发展现状和地位
wukangjupingbb的博客
09-11 644
依据国际隐私专业人员协会(IAPP)的相关报告，2020年，上述两机构更新了该模型框架，发布了第二版，并推出了《组织实施和自我评估指南》，帮助组织评估其人工智能治理实践与型框架的匹配程度，还发布了《案例汇编》，展示了组织如何实施负责任的人工智能治理实践。2019年，金融管理局宣布与金融行业合作创建Veritas框架，为金融机构提供可验证的方法，将FEAT原则纳入其人工智能和数据分析驱动的解决方案中。新加坡在人工智能治理方面采取了部门性的方法，即通过各个行业的监管机构来管理人工智能的使用。
【提效工具】AI工作流的1-10个实际落地场景
万物皆有灵
09-09 1145
在这个快速发展的数字时代，人工智能（AI）正在以惊人的速度改变我们的工作方式。无论你是开发者、教育工作者还是内容创作者，AI工作流提示词助手都能为你提供无与伦比的支持。今天，我们将深入探讨，20个实际落地场景，帮助你更好地理解如何利用这些工具提升工作效率和创造力。💡。
基于人工智能的音乐情感分类系统
stm32d1219的博客
09-06 1336
音乐作为一种强烈的情感表达方式，不同的音调、节奏和和声传递着不同的情感信息。通过人工智能技术，能够自动识别音乐中的情感，为用户提供个性化的音乐推荐或情感分析服务。通过使用MFCC特征提取与神经网络分类算法，音乐情感分类系统可以有效地分析音乐中的情感信息，并根据不同情感对音乐进行分类。随着深度学习技术的进一步发展，音乐情感分类系统的准确性和应用范围将得到进一步提升。音乐情感分类是通过对音乐音频信号进行分析，识别出音乐传递的情感，如“愉快”、“悲伤”、“愤怒”等。问题讨论，人工智能的资料领取可以私信！
第九届“创客中国”生成式人工智能（AIGC）中小企业创新创业大赛圆满落幕
luojiezong的博客
09-09 836
江西省工业和信息化厅党组成员、副厅长郭启东表示,“创客中国”始终秉持“围绕产业链,部署创新链,配置资金链,培育人才链”的宗旨,为中小企业和创客搭建了广阔平台。江西深刻认识到以人工智能为代表的产业变革的发展方向,努力推动人工智能等先进产业加速发展,以本次大赛为契机,优化创新生态,强化政策引导,加强人才培养,深化国际合作,加大对中小企业创新发展的支持力度,营造更加开放包容的创新环境,推动中小企业创新发展。南昌市委常委、市委秘书长、办公室主任赵捷;经过初赛、复赛的严格筛选,21个杰出项目脱颖而出,荣获赛事奖项。
图神经网络（2）预备知识
m0_63860007的博客
09-07 1104
对于接触过数据结构和算法的读者来说，图并不是一个陌生的概念。如果图里的边不仅表示连接关系，而且具有表示连接强弱的权重，则这个。从图的某个顶点出发，沿着图中的边访问每个顶点且只访问一次，这叫作。在图上模拟一个热扩散的过程，φ(t)是图上每个顶点的热量分布，热量传播。如果一个图的每个边都有一个方向，则称这个图为有向图。图的同构指的是两个图完全等价。很显然，这个大于等于0的，所以L是半正定的。拉普拉斯矩阵的另一个重要作用是作为图上的离散拉普拉斯算子。然地，我们把拉普拉斯算子的特征函数换成拉普拉斯矩阵的特征。
深度学习算法，该如何深入，举例说明
liyy614的博客
09-10 930
深度学习算法的深入学习可以从理论和实践两个方面进行。理论上，深入理解深度学习需要掌握数学基础（如线性代数、概率论、微积分）、机器学习基础和深度学习框架原理。实践上，可以通过实现和优化深度学习模型来提升技能。
高效率的开发工具
最新发布
鱼遇海
09-12 510
智能代码编辑:语法高亮: 支持多种编程语言的语法高亮。代码补全: 提供智能代码补全和提示，减少打字量。代码片段: 支持代码片段和模板，帮助快速编写常用代码。调试功能:集成调试器: 支持多种语言的调试，提供断点、变量监视、调用堆栈等功能。调试配置: 允许用户自定义调试配置，以适应不同的开发需求。版本控制:Git 集成: 内置 Git 支持，可以直接从编辑器进行版本控制操作，如提交、推送、拉取等。版本差异查看: 提供图形化界面查看文件差异和版本历史。
csdn独家首发!万字长文,yolov5/v7/v8算法模型yaml文件史上最详细解析与教程
11-03
这篇万字长文是针对YOLOv5/v7/v8算法模型的yaml文件进行的详细解析与教程，专门为CSDN独家发布。在该文中，作者首先对YOLOv5/v7/v8算法模型的基本原理进行了介绍，包括物体检测和边界框回归等核心概念。然后，作者详细解析了yaml文件的结构和内容，包括配置文件中的各个参数、数据集的配置、模型结构的定义等。通过逐个参数的解释和示例，读者可以清晰地了解每个参数的作用和设置方式。 在教程部分，作者提供了详细的步骤和代码，让读者能够按照教程进行YOLOv5/v7/v8算法模型的配置和训练。作者针对常见问题和常见错误也做了解答和解决方案的介绍，帮助读者更好地理解和应用该算法模型。 该长文的特点在于其详细程度和全面性。作者不仅提供了yaml文件的详细解析，还给出了具体的代码实现和训练步骤，帮助读者实际运用该算法模型。此外，作者还参考了相关论文和研究成果，对算法的优化和改进也进行了讨论和展望。 总之，这篇万字长文提供了YOLOv5/v7/v8算法模型yaml文件的最详细解析和教程，对于对该算法感兴趣的读者来说，是一份非常有价值的参考资料。无论是对于初学者还是对于想要深入了解该算法的专业人士，都是一篇不可多得的资源。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值