LLM：RoPE - 开源代码中的实现 （下）

已于 2024-08-22 11:43:32 修改
阅读量209 收藏
点赞数
分类专栏： LLM & AIGC & VLP 文章标签： 人工智能 LLM
于 2024-01-23 17:50:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lilai619/article/details/135772046
版权
本文详细探讨了开源项目ChatGLM-6B、ChatGLM2-6B和LLAMA中RoPE旋转位置编码的实现细节。通过计算旋转矩阵和应用旋转变换，这些模型在不同阶段融入位置信息，以增强self-attention计算。ChatGLM2仅对输入前半部分应用RoPE，而LLAMA的实现则参考了深入的理论解析。
摘要由CSDN通过智能技术生成

本文着重学习一下开源代码中关于RoPE的实现：ChatGLM-6B、ChatGLM2-6B、LLAMA

回顾一下RoPE位置编码：

1：对于 token 序列中的每个词嵌入向量，首先计算其对应的 query 和 key 向量
2：然后对每个 token 位置都计算对应的旋转位置编码
3：接着对每个 token 位置的 query 和 key 向量的元素按照 两两一组 应用旋转变换
4：最后再计算 query 和 key 之间的内积得到 self-attention 的计算结果


 

前文提供了RoPE的基本实现，本文学习一下开源LLM中的RoPE的实现。

了解本专栏 订阅专栏 解锁全文 超级会员免费看
微风❤水墨
关注
专栏目录
订阅专栏
大模型应用开发技术： Human-in-the-loop（四）
段智华的博客
06-20 362
human in loop
LLM - 旋转位置编码 RoPE 代码详解
BITDDD小栈
10-12 3278
旋转位置编码 RoPE 代码详解与复现。
LLaMA的解读与其微调(含LLaMA 2)：Alpaca-LoRA/Vicuna/BELLE/中文LLaMA/姜子牙
热门推荐
结构之法 算法之道
03-22 7万+
还开始研究一系列开源模型(包括各自对应的模型架构、训练方法、训练数据、本地私有化部署、硬件配置要求、微调等细节)​该项目部分一开始是作为此文《》的第4部分，但但随着研究深入 为避免该文篇幅又过长，将把『第4部分 开源项目』抽取出来 独立成本文。
复旦 & 北大 | 从头训练中文大模型：CT-LLM
AAI666666的博客
05-01 1208
当前，绝大多数大模型（LLMs）基本上都是以英文语料库训练得到的，然后经过SFT来匹配不同的语种。
LLM - Qwen-72B LoRA 训练与推理实战
BITDDD小栈
02-05 7367
LLM Qwen-72B 简介与 LoRA 微调、推理。
探索大语言模型的奥秘：Awesome-LLM-Learning 项目推荐
gitblog_00299的博客
08-15 315
探索大语言模型的奥秘：Awesome-LLM-Learning 项目推荐 Awesome-LLM-Learning项目地址:https://gitcode.com/gh_mirrors/aw/Awesome-LLM-Learning 在人工智能的浪潮中，大语言模型（LLM）已成为推动技术进步的重要力量。今天，我们向您隆重推荐一个专注于大语言模型学习的开源宝库——Awesome-LLM-Learn...
大模型应用开发技术：Multi-Agent框架流程、源码及案例实战（三）定义工具及创建图
段智华的博客
06-18 1017
定义工具将定义一些工具，提供给代理使用@tool):try:reprreturn (定义了一个装饰器@tool，用于标记一个函数，该函数可以执行传入的Python代码，并返回执行结果。：从typing模块导入Annotated类，用于对类型进行注解，添加额外的元数据。：来自， 用于搜索的类。tool：来自， 用于标记工具函数的装饰器。PythonREPL：来自，是一个Python REPL（Read-Eval-Print Loop）的实现，用于执行Python代码。：创建了一个。
LLM时代中的AI推理优化
世事难料，保持低调
06-15 3395
毫无疑问，AI是当下最热的话题之一，而大模型又是当前AI的主角。几年前，正当深度学习进入瓶颈时，以GPT为首的LLM的横空出世让之似乎又找到了“第二增长曲线”。当模型规模大到一定程度时，它所表现出来的涌现能力（Emergent ability）是之前在小模型中所不曾见过的。这种大模型所特有的推理、计算等能力给我们带来了无穷的想象空间。但是，它的代价是模型和以往模型相比增大了成百上千倍。要玩大模型十亿参数基本是个入门级门槛，上百亿才算像点样。各个大公司为了争夺大模型的话语权，更是将大模型越“卷”越大。
LLM | 一些开源的AI代码生成模型调研及总结【20240130更新】
weixin_44649780的博客
01-30 3693
本文主要介绍主流代码生成模型，总结了基于代码生成的开源大语言模型，按照时间顺序排列。
LLMs之Llama3：Llama-3的简介、安装和使用方法、案例应用之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
04-20 4万+
​ LLMs之Llama 3：Llama 3的简介、安装和使用方法、案例应用之详细攻略 目录 Llama 3的简介 Llama 3的安装和使用方法 Llama 3的案例应用 Llama 3的简介 2024年4月18日，Meta 重磅推出了Meta Llama 3，Llama 3是Meta最先进开源大型语言模型的下一代，包括具有80亿和700亿参数的预训练和指令微调的语言模型，能够支持广泛的应用场景。这一代Llama在一系列行业标准基准测试中展示了最
开源模型应用落地-Qwen2.5-7B-Instruct与vllm实现推理加速的正确姿势-Docker（二）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
10-06 1万+
通过docker方式实现Qwen2.5-7B-Instruct集成vllm，流式输出
【 书生·浦语大模型实战营】学习笔记（一）：全链路开源体系介绍
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
03-31 1800
本文为实战营第一次课程笔记，主要分为两个部分，第一部分从书生·浦语大模型发展、分类、组成进行详细介绍，方便大家理解。第二部分为对 InternLM2技术报告解读，后续系列会继续更新，欢迎大家交流！
《深入浅出LLM基础篇》（四）：主流大模型介绍
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
05-13 1268
本篇为《深入浅出LLM基础篇》系列第四篇，《深入浅出LLM基础篇》（四）：主流大模型分类介绍主流大模型分类，主要讨论各类模型结构组成、模型特点、数据规模等进行介绍，包括 ChtaGLM、LLAMA等 系列，最后对经典问题进行总结，方便大家交流学习。
自助餐剩余食品识别图像分割系统：教学内容全覆盖
sgcsdn99的博客
11-04 1432
数据集信息展示在本研究中，我们使用的数据集名为“9_5_Merged”，该数据集专门用于训练改进YOLOv8-seg的自助餐剩余食品识别图像分割系统。该数据集包含71个类别，涵盖了丰富多样的食品种类，旨在提高模型对不同类型剩余食品的识别和分割能力。通过对这些类别的细致划分，我们希望能够实现更高精度的图像分割，进而优化自助餐剩余食品的管理和利用。
掌握AIStarter新功能，轻松关闭广告享受纯净浏览体验
ai_xiaogui的博客
11-07 286
AIStarter的广告拦截器是一项集成在平台内部的新特性，它允许用户根据自己的喜好设置广告过滤规则。无论是烦人的横幅广告、视频前贴片广告还是弹窗广告，都可以通过简单的设置被有效屏蔽。这项功能不仅提升了用户的浏览效率，还保护了用户的隐私安全。在数字时代，拥有一个清爽无干扰的网络环境对每个人都至关重要。AIStarter的广告拦截器正是为此而设计，它帮助用户夺回了对个人浏览体验的控制权。现在就尝试启用这项功能，开始享受一个更加干净、高效的上网体验吧！不要广告！关闭广告！
在后LLM时代，关于新一代智能体的思考
最新发布
langboat_mengzi的博客
11-07 454
同时，新一代智能体工具平台应具备与基座LLM保持独立的多层次智能体系，无需依赖单一大模型或者技术供应商，如此一来，有利于实现模块化开发，具备较强的可维护性，同时还能够建立良好的生态，促进智能体的繁荣发展。而“慢思考”是指在基础模型的基础上，当处理一些复杂指令时，智能体将需求拆解成多个子任务，会调用不同的工具来完成任务，并对结果进行反思、确认，这一过程体现了一种类似于人类思维的“系统 2”的过程，即 step-by-step、可解释的且能导致更准确结果的过程。这些能力对于智能体具有重要的作用和价值。
CVPR2024：PKINet(上下文锚点注意力机制)
kuailezzf的博客
11-06 365
PKINet采用无扩展的多尺度卷积核来提取不同尺度的目标特征并捕获局部上下文。具体来说，首先，PKINet不依赖于大核卷积或膨胀卷积来扩展感受野，而是利用无扩展的深度卷积（inception-style）来提取不同感受野之间的多尺度纹理特征。最后，这两个模块协同工作，促进了局部和全局上下文信息的自适应特征提取，从而提高了遥感目标检测的性能。为了解决上述问题，以前的方法是通过大核卷积或膨胀卷积来扩展主干网络的空间感受野。但是，前者通常会引入相当大的背景噪声，而后者可能会产生过于稀疏的特征表示。
Python的自然语言生成与对话系统介绍
余生的博客
11-05 793
自然语言生成(Natural Language Generation，NLG)和对话系统是人工智能领域的重要研究方向。NLG 涉及将计算机理解的信息转换为自然语言文本，而对话系统则涉及计算机与用户之间的自然语言交互。Python 作为一种易于学习、易于使用的编程语言，在这两个领域中发挥了重要作用。核心概念与联系核心算法原理和具体操作步骤数学模型公式详细讲解具体最佳实践：代码实例和详细解释说明实际应用场景工具和资源推荐总结：未来发展趋势与挑战。
Meta AI 推出机器人开源项目：推动触觉感知和人机交互的前沿研究
weixin_41496173的博客
11-04 872
在人工智能的各个领域中，**机器人技术的开源项目**成为了近年来的焦点。随着Meta AI（FAIR）发布了最新的触觉感知和机器人交互开源工具包，AI与机器人技术的结合再次引起广泛关注。通过开源的触觉编码工具、标准化的机器人手部平台以及人机协作基准，Meta AI为研究者和开发者提供了大量的创新工具。这一举措不仅促进了触觉感知和灵巧性研究的进步，也为多种应用场景下的机器人智能增强奠定了基础。 本文将深入解读Meta最新发布的触觉和人机交互研究成果，包括Meta Sparsh、Digit 360和Digit
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

微风❤水墨

你的鼓励是我最大的动力！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值