使用 LLMLingua-2 压缩 GPT-4 和 Claude 提示

已于 2024-05-03 00:10:30 修改
阅读量1.3k 收藏 29
点赞数 14
分类专栏： 提示词工程 文章标签： 人工智能 自然语言处理
于 2024-04-03 17:29:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lichunericli/article/details/137352500
版权

原文地址：Compress GPT-4 and Claude prompts with LLMLingua-2

2024 年 4 月 1 日

向大型语言模型（LLM）发送的提示长度越短，推理速度就会越快，成本也会越低。因此，提示压缩已经成为LLM研究的热门领域。

在最新的一篇论文中，清华大学和微软的研究人员介绍了一种新的与任务无关的提示压缩技术——LLMLingua-2。LLMLingua-2比其他提示压缩方法更快、更高效，且需要的计算资源更少。对于涉及冗长提示的LLM应用来说，它可以成为一个很好的工具，压缩可以节省大量成本并改善用户体验。

微信截图_20240403110434

任务相关的和任务无关的提示压缩

诸如思维链（CoT）推理、上下文学习和检索增强生成（RAG）等技术使LLM能够处理复杂的任务和未在训练数据中包含的知识。

然而，冗长提示的好处是以增加计算和财务需求为代价的。在某些LLM中，更长的提示可能会降低模型处理上下文信息的能力的准确性。

提示压缩通过缩短原始文本同时保留必要信息来解决这些问题。提示压缩的基本假设是，自然语言包含冗余，这些冗余对人类理解可能有用

最低0.47元/天 解锁文章
lichunericli
关注
  • 14
    点赞
  • 踩
  • 29
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
今日大模型论文 || 清华&微软联合打造LLMLingua2，速度提升达2.9倍
AI论文解读
03-25 1402
今日大模型论文 || 清华&微软联合打造LLMLingua2，速度提升达2.9倍
文献阅读：LLMLingua: Compressing Prompts for Accelerated Inference of Large Language Models
codename_cys的博客
12-24 1641
文献阅读：LLMLingua: Compressing Prompts for Accelerated Inference of Large Language Models
昇思25天学习打卡营第14天|LLM-文本解码原理--以MindNLP为例
wwt72的博客
07-17 937
限制输出序列的最大长度为50个token。top-p=0.95，top-p采样表示在每一步生成token时，只从概率分布中累计概率达到95%的token中进行采样，有助于保持生成文本的流畅性和质量，同时允许一些低概率的token被选中，从而增加多样性。表示禁用了top-k采样，因为在top-k采样中，通常是从概率最高的k个token中随机选择一个token作为下一个输出，而这里设置为0表示不限制token的选择，实际上这将等同于使用 softmax 概率分布直接进行采样。这有助于提高生成文本的多样性。
卷积神经网络学习问题总结
weixin_61681867的博客
07-17 743
均方误差函数（MSE）适用于回归任务，如预测房价、预测股票价格等。
python训练模型报错：BrokenPipeError: [Errno 32] Broken pipe
Dxy1239310216的博客
07-18 563
如果问题持续存在，并且你的项目不是必须在 Windows 上运行，考虑在 Unix/Linux 系统上运行你的代码。确保在数据加载器中使用的任何自定义函数或类都是可序列化的，因为多进程需要能够在不同进程间传递它们。进行多进程数据加载时尤其常见，尤其是在 Windows 系统上，因为 Windows 对多进程的支持与 Unix/Linux 系统有所不同。有时候，错误可能是由其他部分的代码引起的，而不是直接由数据加载器引起。如果问题依然存在，你可能需要更详细地检查你的代码或寻求更专业的帮助。
自动驾驶系列—智能巡航辅助功能中的车道变换功能介绍
u013889591的专栏
07-17 1219
在现代智能驾驶技术中，智能巡航辅助的车道变换功能是提高驾驶安全性和便利性的关键特性。该功能通过摄像头、传感器和高级算法，使车辆能够在驾驶员的指令下安全地进行车道变换。本文将详细介绍车道变换功能，从背景、功能定义、原理、传感器架构、实际应用案例以及总结与展望几个方面进行阐述。智能巡航辅助功能介绍。随着自动驾驶技术的快速发展，车道变换功能已成为智能驾驶系统中的重要组成部分。
ChaosMeta for AI：混沌工程让AI稳定性更上一层楼
samson
07-18 722
混沌工程的核心思想是“通过在真实环境中引入故障，评估和提升系统的稳定性”。在实际应用中，这意味着通过故意制造各种错误和故障，观察系统的表现，从而找出和修复系统的脆弱点。随着AI系统逐渐成为现代技术的支柱，混沌工程的应用范围也在不断扩展。输出内容：模拟历史已发生的故障，如输出乱码，通过注入代码篡改故障，检验系统的容错能力，确保终端用户看到的是稳定可用的内容。任意代码篡改：模拟意外代码修改对输出的影响。输入内容：通过对抗性样本测试，确保模型的合规合法，符合伦理道德标准。
大模型日报 2024-07-20
weixin_40262196的博客
07-21 505
OpenAI发布了针对应用开发者的GPT-4o mini模型，取代了旧版的GPT-3.5模型。: 研究开发了一个基于游戏Baba Is You的新基准，测试了三种多模态大型语言模型，发现它们在需要操控和组合游戏规则时表现不佳。: 谷歌AI发布了一篇关于FLAMe的论文，这是一种基础大型自动评估模型，旨在为复杂多样的大型语言模型提供可靠且高效的评估方法。: 研究表明，通过Prover-Verifier游戏训练算法，提升了大语言模型在解决数学问题时的输出可读性和人类验证准确率。
基于深度学习的故障检测
weixin_42605076的博客
07-20 914
基于深度学习的故障检测是一项利用深度学习技术对设备、系统和结构的运行数据进行分析，以检测、识别和预测潜在故障的技术。其应用范围广泛，包括工业设备监控、制造系统故障检测、交通系统安全监测等。
基于深度残差网络迁移学习的浸润性导管癌检测
qq_47896523的博客
07-18 879
癌症是一种异常细胞不受控制地分裂损害健康组织的疾病。皮肤或覆盖我们内脏的组织中的癌细胞被称为癌。乳房中的大多数癌是导管癌。侵袭性导管癌(Invasive Ductal Carcinoma, IDC)始于乳管，侵犯乳房周围纤维组织，晚期可通过血液扩散至淋巴结或身体其他部位，威胁患者生命。这种恶性肿瘤的治疗取决于它的分期、严重程度和它所属的亚型。事实证明，早期诊断有助于减少治疗过程中的并发症，从而提高患者的生存几率。IDC癌的诊断可基于病理任务，包括显微镜观察和多片载玻片检查。
YoloV8改进策略：卷积篇|Kan行天下之ReluKan
m0_47867638的博客
07-20 378
本文介绍了一种名为ReLU-KAN的新型架构，该架构使用新型基础函数替换了KAN中的B样条。此外，ReLU-KAN实现了全矩阵运算，显著提高了训练速度。实验结果表明，ReLU-KAN在训练速度、拟合能力和稳定性方面均优于KAN。在未来的工作中，我们计划将ReLU-KAN应用于卷积和Transformer架构中，以研究其在不牺牲模型性能的情况下减少参数的潜力。
上海昇腾AI训练营笔记
嵌入式点灯砖家的博客
07-18 1014
Ascend C系列AI处理器适用于计算力需求较低的场景，如智能监控、边缘计算等。提供多种精简模式和高性能模式，满足不同应用场景下的性能要求。支持全场景覆盖，既可以部署在云端也可以部署在端侧。
机器学习数据集的一致性表现在哪些方面-九五小庞
qq_37241964的博客
07-19 382
总结而言，确保数据集的一致性是提高模型效果和泛化能力的关键。通过综合检查特征分布、数据规律、时间因素、分布式环境和神经网络特征表达的一致性，可以全面评估和保障数据集的一致性。这不仅有助于提升模型的性能，也为后续的特征工程和模型优化提供了坚实的基础。
《电脑知识与技术》是什么级别的期刊？是正规期刊？能评职称吗？
2301_81053900的博客
07-18 608
是一本面向计算机全行业的综合性学术刊物。编委委员均来自国内各著名高校的教授和博士生导师，他们是我国计算机科学领域方面的专家、学者和权威人士；主要面向高等院校、各公共图书馆、情报所（室）、研究所以及厂矿的科技工作者、科学研究人员、广大教师、研究生、博士生。7、来稿请注明姓名、性别、籍贯、出生年月、学历、职称、工作单位、联系电话、详细邮寄地址。10、若不能被录用，恕不退稿，请作者自留底稿，不同意上述稿件处理方式的作者请转投他刊。3、题目下面均应写作者姓名、单位名称、所在城市、邮编，多位作者分别列出上述信息。
数据挖掘与分析部分实验内容
m0_74972727的博客
07-18 1065
通过对样本数据的离散图可以判断，呈线性规律变化，因此可以建立一个线性模型，即 ，把该线性模型定义为一个简单的类，里面封装了变量和计算，变量设置用tf.Variable()。#定义模型class LineModel(object): # 定义一个LineModel的类# 初始化变量def __call__(self, x): #定义返回值def train(self, x, y, learning_rate): #定义训练函数。
【附源码】Python ：人脸实时检测与抓捕
脱发快乐中
07-17 255
使用Python和OpenCV检测人脸是一个常见的计算机视觉任务。本文代码将打开你的摄像头，并在窗口中显示实时视频流，同时在检测到的人脸上绘制矩形框。按’q’键可以退出程序。
如何避免推荐系统中的雪崩效应？
xixixixixixixi21的博客
07-19 318
为了避免推荐系统中的“雪崩效应”，也称为热点商品（或冷启动）问题，可以采取以下几种策略：多样性推荐：除了基于流行度的推荐外，还结合用户的兴趣偏好、新颖度或其他个性化因素，生成多样化的推荐列表，避免所有用户都集中关注少数几个热门商品。缓存策略：对热门商品推荐结果做持久化存储，当有大量用户同时访问时，可以直接从缓存获取，减轻后端压力。预测模型：使用机器学习算法（如时间序列分析或协同过滤）预测商品未来的热度，提前分配资源，防止临时的突然爆发。
生成式 AI 的发展方向，是 Chat 还是 Agent？
21空间的博客
07-18 662
Agent将实现更高级别的自主决策和任务执行能力，具备更强的环境感知和自适应能力，并确保在复杂任务中的安全性和可靠性。2.上下文理解：使用长短期记忆（LSTM）、门控循环单元（GRU）、BERT、GPT等模型来理解和生成上下文相关的对话。3.多轮对话：利用对话状态跟踪（DST）和对话管理（DM）技术，实现多轮对话的逻辑和流畅性。5.多模态交互：集成语音识别、语音合成、图像识别等技术，实现文本、语音、图像的综合处理。3. 环境感知：利用传感器融合、计算机视觉、环境建模等，实现对环境的全面感知和理解。
昇思25天学习打卡营第17天|LLM-基于MindSpore的GPT2文本摘要
最新发布
wwt72的博客
07-21 554
> wte 嵌入层：dim[in, out]=[21128, 768] ，即使用了 21128 个词汇，每个词汇映射到一个768 维的向量。层，自注意力机制，用于计算输入序列中不同位置的注意力权重。，多层感知机，用于对自注意力层的输出进行进一步的非线性变换。此次活动的 notebook 只可以连续运行8小时，此次目的也不是性能优化，故此，我将训练数据减少到了1/10，此时的部分输出如下。>> layers h 隐网络结构层：Transformer模型的主体，包含 12 个 GPT2Block。
详细介绍一下GPT-2、GPT-3、GPT-Neo、GPT-J、GPT-4
03-09
GPT-2、GPT-3、GPT-Neo、GPT-J、GPT-4 都是基于人工智能技术的语言模型，它们的主要功能是生成自然语言文本。其中，GPT-2 是 OpenAI 公司开发的，它具有 1.5 亿个参数，可以生成高质量的自然语言文本。GPT-3 是 GPT-2 的升级版，它具有 1.75 万亿个参数，是目前最大的语言模型之一，可以生成更加自然、流畅的文本。GPT-Neo 是由 EleutherAI 社区开发的，它是一个开源的语言模型，具有 2.7 亿个参数，可以生成高质量的自然语言文本。GPT-J 是由 EleutherAI 社区和 EleutherAI GPT-J Collaboration 开发的，它具有 6 亿个参数，可以生成更加自然、流畅的文本。至于 GPT-4，目前还没有正式发布，不过可以预计它将会是一个更加强大的语言模型，可以生成更加自然、流畅、准确的文本。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值