新鲜速递：图解新颖LLM的CoPE位置编码

已于 2024-06-03 09:07:22 修改
阅读量1.7k 收藏 16
点赞数 30
分类专栏： 新技术解读 精品论文 文章标签： 自然语言处理 位置编码 CoPE Transformer 具身智能 ViT
于 2024-06-03 09:06:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Janexjy/article/details/139402405
版权

大模型技术论文不断，每个月总会新增上千篇。本专栏精选论文重点解读，主题还是围绕着行业实践和工程量产。若在某个环节出现卡点，可以回到大模型必备腔调重新阅读。而最新科技（Mamba,xLSTM,KAN）则提供了大模型领域最新技术跟踪。若对于具身智能感兴趣的请移步具身智能专栏。技术宅麻烦死磕AI架构设计。

6月份第一天CoPE诞生了。与传统基于Token的位置编码不一样，CoPE采用上下文进行位置编码，进而帮助LLMs更好地进行计数任务。

快速总览

研究人员提出了一种新颖的位置编码方法，称为上下文位置编码（下文称之为CoPE），它有别于基于标记的传统位置编码范式。

  • 它以上下文依赖的方式测量位置，在按位置寻址时会更加自由

  • 它在如下的任务中获得不错的收益：Flip-Flop, Selective Copy, Counting, Language Modeling, and Code Modeling tasks

最低0.47元/天 解锁文章
COPE 网络编码仿真源代码
03-23
网络编码中实现COPE协议的源代码，XORs in The Air: Practical Wireless Network Coding。主要是从别的地方找来的，可以一起学习
【论文速读】CoPE，基于上下文的位置编码，《Contextual Position Encoding: Learning to Count What’s Important》
bylander的博客
06-10 2459
Transformer 架构的位置编码，是解决注意力机制缺乏序列信息的问题，但是以往的位置编码是基于Token级别的，所以LLM难以建立句子级别的更高层次的序列信息，也就很难关注到句子的概念。 CopE是基于上下文的位置编码，解决了这个问题
Advanced Computer Network Review(5)——COPE
zheyuan的博客
06-12 979
本文参考资料来自： 1.论文原文《XORs in The Air: Practical Wireless Network Coding》(SIGCOMM’06) 2.课程演示文稿根据复习提纲，对于COPE应该弄懂以下几个问题： 1.理解butterfly网络 2.理解COPE的编码算法 3.理解COPE的一个实例 全文的一个核心是利用了异或(XOR)运算的一个特点，即a⊕b⊕b=aa \oplus b \oplus b = aa⊕b⊕b=a，即原始值经过两次异或某一个相数值后会变成原来的值，这是本文使用的
基于ns2的cope源代码
01-11
基于ns2的AODV路由协议的COPE代码，添加的时候按照正常添加协议的方法，在queue.h中添加 Packet * head() { return pq_->head();} //added for remove the specific packet void remove(Packet *p) { pq_->remove(p); } 两项 同时需要开通混杂模式
Transformer中高级位置编码的介绍和比较：Linear Rope、NTK、YaRN、CoPE
deephub
07-15 5496
位置编码通过为每个位置分配嵌入向量并将其添加到相应的标记表示来实现这一点。绝对和相对位置编码是最常见的两种位置编码方式，但是本文将要比较更高级的位置编码方法： 1、RoPE 位置编码及其变体 2、CoPE
LLM.01 Contextual Position Encoding
klhhk的博客
06-19 1009
本论文提出了一种新的位置编码方法——上下文位置编码（Contextual Position Encoding, CoPE），以解决传统位置编码在处理复杂序列任务中的局限性。标准的绝对和相对位置编码仅依赖于令牌的固定位置，而CoPE通过引入上下文信息，动态调整每个令牌的位置编码。该方法包括计算序列的上下文向量，并利用此向量调整标准位置编码，使得模型能够更灵活地捕捉序列中的位置关系。
[论文笔记] 长上下文 Long-Context——RoPE旋转位置编码及其特性
心宝的博客
12-25 976
旋转位置编码（Rotary Position Embedding，简称RoPE）是一种在众多大型神经网络模型中普遍应用的位置编码技术，被诸如Llama、Baichuan、ChatGLM、Qwen等模型所采用。大型模型由于受限于计算资源，往往在内进行训练，这导致当，模型性能可能会大幅下降。为了解决这个问题，出现了众多研究致力于基于RoPE的模型，使之能在超出预训练长度的情况下仍保持较好的性能。因此，深入理解RoPE的基本原理对于扩展基于RoPE的模型至超出训练长度的场景至关重要。
学会数数，才能理解语言：揭秘大型语言模型中的上下文位置编码
步子哥的博客
06-16 779
CoPE 是一种新的位置编码方法，它可以根据上下文信息来动态地调整位置编码，从而更准确地反映词语在序列中的位置信息。CoPE 在多个任务上取得了显著的提升，表明它具有很强的实用价值。
搞懂LLM中的Token，看这一篇就够了
2301_81940605的博客
04-08 5680
搞懂LLM中的Token，看这一篇就够了
Transformer为什么需要“位置编码”？
m0_70486148的博客
11-21 1160
旋转位置编码不像原始的绝对位置编码（在输入中单独加入位置编码信息），而是在计算注意力时，考虑 token 之间的位置关系。和原始的 transformer 的区别，是在 qkv 中增加位置信息，得到新的 qkv：在做注意力计算时，将位置信息通过旋转矩阵的方式引入，注意：截图来自于论文，矩阵中 m 实则为位置差 m-n。RoPE 形式上和 Sinusoidal 位置编码有点相似，只不过 Sinusoidal 位置编码是加性的，而 RoPE 可以视为乘性的。这么做的其实很大程度上依赖于三角函数的特性。
COPE协议、RLNCBR算法功能实现
FPGA/MATLAB学习教程/源码/项目合作开发
11-26 8048
1）接收节点数N变化，各节点丢包率P1=P2=…=Pn=0.08，节点数从2变化到10，增量为1，重传时间间隔为100Δt，作出平均传输次数随接收节点数变化的曲线图 2）P1=P2=…=Pn且变化，从0.02变化到0.10，增量为0.02，接收节点数N=5，重传时间间隔为100Δt，作出平均传输次数随节点丢包率变化的曲线图 3）各节点丢包率均不等且变化，接收节点数N=5，重传时间间隔为100Δt，P1从0.01变化到0.06，增量为0.01，P2=P1+0.01，P3=P1+0.02，P4=P1+0.0
多模态大语言模型arxiv论文略读（九十八）
最新发布
Jamence的博客
05-29 981
➡️ 研究动机：为了提高多模态情感识别的准确性和细致度，研究团队提出了MicroEmo，一个时间敏感的MLLM，旨在关注面部微表情的时间动态和话语感知视频片段的上下文依赖性。4) 通过微调LLMs的少量参数来选择最终的实体。该方法通过动态聚合模态特定和模态无关的LoRA专家，部分解耦多模态生成空间，从而在不显著增加参数的情况下，提升模型的多模态生成能力。➡️ 问题背景：当前的多模态生成模型在视觉文本理解与生成任务中表现出色，但同时生成图像和文本时，由于视觉和语言模态之间的固有不一致性，通常会导致性能下降。
【NLP基础知识系列课程-Tokenizer的前世今生第五课】从静态到可学：Tokenizer 的自适应演化之路
刘炫320的博客
05-27 896
Vokenization 是一个跨模态的 token alignment 方法，为每个文本 token 匹配一个“视觉 embedding”，形成“视觉 token”或“voken”。在 NLP 或多模态任务中，我们一直使用固定的分词器（如 BPE、WordPiece）在训练前将文本分为 token。但这是一种静态方式，与模型参数解耦，与任务目标无关。Tokenizer，不再只是“tokenizer”，而是人工智能系统的输入分配器（Input Orchestrator）。是新的 token 表示。
【大模型原理与技术-毛玉仁】第一章 语言模型基础
m0_60121089的博客
05-28 882
语言是概率的。并且，语言的概率性与认知的概率性也存在着密不可分的关系。语言模型（Language Models, LMs）旨在的概率。
【自然语言处理与大模型】大模型（LLM）基础知识⑤
qq_39780701的博客
05-26 1070
如何保证大模型生成内容的合规性？如何对超长文本进行微调训练？
AI时代新词-大模型（Large Language Model）
smileKH的博客
05-26 581
大模型，全称为“大规模语言模型”（Large Language Model），是一种基于深度学习的人工智能技术。它通过海量的文本数据进行训练，学习语言的模式、语法和语义，从而能够生成自然流畅的文本内容。大模型的核心在于其庞大的参数规模，这些参数使得模型能够捕捉到语言的细微差别和复杂性。
AI任务相关解决方案1-基于NLP的3种模型实现实体识别，以及对比分析（包括基于规则的方法、CRF模型和BERT微调模型）
微学AI的博客
05-28 906
本文将深入探讨三种不同的命名实体识别(NER)方法，包括基于规则的方法、CRF模型和BERT微调模型，用于识别文本中的地名(LOC)、机构名称(ORG)和人名(PER)实体。通过系统比较这三种方法的原理、实现代码和实验结果，**为不同应用场景下的NER任务提供选择依据**。本研究将重点分析实体识别的准确性、召回率和F1值等核心指标，并通过特殊案例的识别效果来评估各种方法的优缺点。
【NLP基础知识系列课程-Tokenizer的前世今生第一课】Tokenizer 是什么？为什么重要？
刘炫320的博客
05-27 794
当你读到“unbelievable”，你可以立刻意识到它是“un + believe + able”构成的，这种构词结构能让你快速理解它的意思。这个单位，就叫做 token，而设计这个单位的方式，就是 tokenizer。”，模型可能就要花更多精力才能拼凑出“哦，这是一个否定+动词+形容词构成的词”。我们可以看到，从语义结构最强的“句子”到最原始的“字节”，Tokenizer 划分的单位越小，信息越精细，但模型所承担的“组合理解”任务也越大。细了，理解变得困难。除了“切多大”，另一个问题是“怎么切”。
NTK位置编码
03-24
<think>嗯，用户想了解NTK（神经正切核）和位置编码的关系以及实现方法。首先，我需要回忆一下NTK的基础概念。NTK是用于分析神经网络在无限宽度极限下训练动态的理论工具，它描述了参数梯度之间的相关性。而位置编码，尤其是在Transformer模型中，用于为序列中的位置信息提供嵌入。常见的如正弦位置编码和可学习的位置嵌入。 接下来，用户提到的NTK与位置编码的关系可能涉及到如何利用NTK理论来改进或分析位置编码的效果。比如，最近有一些研究将NTK应用于调整位置编码的维度，以增强模型的外推能力，比如NTK-aware的位置编码。这种编码方法通过调整频率的衰减速度，使得模型在处理长序列时表现更好。 在实现方面，可能需要将传统的正弦位置编码进行修改，引入NTK理论中的频率调整策略。具体来说，可能需要对不同维度的频率进行不同程度的缩放，从而平衡高频和低频信息的保留。例如，通过调整基频和缩放因子，使得高维度的频率衰减更快，而低维度的频率衰减更慢，从而在保持局部信息的同时捕获长程依赖。 然后，我需要检查是否有相关的论文或开源代码实现了这种方法。比如，Meta的LLAMA模型可能采用了类似的改进位置编码方法。此外，Hugging Face的Transformers库中可能有相关的实现参考，比如在RoPE（旋转位置编码）中加入NTK-aware的调整。 用户可能的应用场景包括自然语言处理中的长文本建模，或者需要模型处理比训练时更长的序列时的外推能力。这时候，传统的正弦位置编码可能表现不佳，而NTK-aware的位置编码能够提升模型在长序列上的性能。 不过，需要注意NTK理论主要适用于无限宽度的神经网络，而实际中的模型是有限宽的，因此实际效果可能需要通过实验验证。此外，实现时需要考虑如何调整频率参数，以及是否需要进行超参数调优。 最后，用户可能还想了解具体的代码实现步骤，比如如何修改现有的位置编码层，调整频率计算公式，以及如何在训练和推理中应用这些调整。可能需要提供一个简化的代码示例，展示NTK-aware位置编码的实现方式，并解释关键参数的作用。</think>### NTK与位置编码的关系及实现方法 NTK（Neural Tangent Kernel）与位置编码的结合主要用于改进Transformer模型在处理长序列时的外推能力，尤其是在超出训练序列长度的场景下。其核心思想是通过调整位置编码的频率分布，平衡高频和低频信息的表达能力。 #### 1. **理论基础** - **NTK理论**：在无限宽神经网络中，NTK描述参数梯度之间的相关性，其频谱特性影响模型收敛性和泛化能力。 - **位置编码**：传统正弦位置编码（如RoPE）的每个维度对应不同频率，但高维频率衰减过快，导致长序列建模能力受限[^1]。 #### 2. **NTK-aware位置编码** 通过引入NTK理论调整频率衰减速度： - **频率调整公式**： $$ \theta_j = b^{-2j/d} \cdot \text{scale} $$ 其中$b$为基频参数，$j$为维度索引，$d$为总维度，$\text{scale}$控制衰减速度[^2]。 - **动态调整**：在训练中逐步增大$\text{scale}$，增强高频信号的外推能力。 #### 3. **实现步骤** 以改进的旋转位置编码（RoPE）为例： ```python import torch def ntk_rope_embedding(seq_len, dim, base=10000, scale=1.0): # 生成位置索引和维度索引 position = torch.arange(seq_len).unsqueeze(1) dim_idx = torch.arange(0, dim, 2).float() # NTK频率调整 theta = 1.0 / (base ** (dim_idx / dim)) * scale freqs = position * theta.unsqueeze(0) # 生成旋转矩阵 emb = torch.cat([freqs, freqs], dim=-1) return emb.sin(), emb.cos() ``` #### 4. **关键参数说明** - `base`：控制频率分布的基础值（默认10000） - `scale`：衰减调节因子（>1时增强高频保留） - 实际应用时可通过超参数搜索优化
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值