GPT-4-Turbo的128K长度上下文性能如何？超过73K Tokens的数据支持依然不太好！

最新推荐文章于 2024-10-22 09:50:34 发布
最新推荐文章于 2024-10-22 09:50:34 发布
阅读量3.1k 收藏
点赞数
文章标签： 人工智能 GPT-4 OpenAI
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/df19900725/article/details/134321739
版权

本文原文来自DataLearnerAI官方网站：GPT-4-Turbo的128K长度上下文性能如何？超过73K Tokens的数据支持依然不太好！ | 数据学习者官方网站(Datalearner)icon-default.png?t=N7T8https://www.datalearner.com/blog/1051699526438975

GPT-4 Turbo是OpenAI最新发布的号称性能超过当前GPT-4的模型。在新版本的ChatGPT中已经可以使用。而接口也在开放。除了速度和质量外，GPT-4 Turbo最吸引人的是支持128K超长上下文输入。但是，实际测试中GPT-4 Turbo对于超过73K tokens文档的理解能力急速下降。

最低0.47元/天 解锁文章
用好GPT关键诀窍之上下文学习
herosunly的博客
07-28 7万+
本文详细介绍了新手用好GPT关键诀窍之上下文学习，希望能对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 使用误区 3. 正确使用方法
在 Azure OpenAI 上利用 GPT-35-Turbo 和 GPT-4 开启 AI 创新之旅
李孟的博客
10-06 688
Azure OpenAI 服务为将高级 GPT 模型（如和GPT-4）集成到应用程序中提供了强大的方式。无论您是构建智能聊天机器人、自动生成内容，还是提供个性化推荐，这些模型都可以帮助增强您的解决方案。通过利用 Azure 的安全性和可扩展性，开发人员可以自信地在生产环境中部署 AI 驱动的功能。通过本指南，您学习了如何设置 Azure OpenAI，使用 Python SDK，管理长对话，并探索微调等高级功能。
OpenAI深夜放毒：发布GPT-4新模型，GPT-3.5支持16K上下文，并且价格降低75%
flysnow_org的博客
06-14 3171
一觉起来，发现OpenAI Twitter更新了，而且更新力度很大，这真是深夜放毒。下面我们看下OpenAI本次的重大更新都有哪些？函数调用能力在Chat Completions API中引入了新的功能调用能力。gpt-4-0613和gpt-3.5-turbo-0613版本已进行了更新和改进。开发人员现在可以描述函数给模型，并通过输出的JSON对象智能调用这些函数。这种新方式可靠地将GPT的能力与...
GPT-4 Turbo 和 GPT-4 的区别
一点
06-05 1502
GPT-4 是 OpenAI 推出的第四代生成式预训练模型。它基于 Transformer 架构，经过大量文本数据训练，能够生成自然语言文本，完成语言翻译、问题回答、文本摘要等任务。GPT-4 相较于前几代模型，在生成文本的流畅度和上下文理解能力上有了显著提升。GPT-4 和 GPT-4 Turbo 都是强大的语言模型，但它们在性能、效率和应用场景上有所区别。
GPT-4 Turbo 发布 | 大模型训练的新时代：超算互联网的调度与调优
LANHYGPU的博客
11-09 1743
算力对训练模型的重要性日益凸显。随着大模型训练的流行，全球显卡和算力正在快速增长。算力后周期市场也在迅速崛起。其中“后”更多是指后服务市场，涵盖从显卡服务器到货IDC之后，形成稳定算力到输出稳定商业推理结果全过程。该过程主要涉及云化、调优、调度、部署、落地和数据管理等环节。
【GPT-4】GPT-4 相关内容总结
KEEP的博客
03-15 7659
GPT-4没开通Plus的用户还没办法体验到GPT-4 是 OpenAI 最先进的系统，可产生更安全、更有用的响应。我们创建了 GPT-4，这是 OpenAI 努力扩展深度学习的最新里程碑。GPT-4 是一个大型多模态模型（接受图像和文本输入，发出文本输出），虽然在许多现实世界场景中的能力不如人类，但在各种专业和学术基准上表现出人类水平的表现。GPT-4 可以更准确地解决难题，这要归功于其更广泛的常识和解决问题的能力。创造力：GPT-4 比以往任何时候都更具创造性和协作性。
ChatGPT真实的上下文长度是多少？不是128K！
hunteritself的博客
06-15 4068
ChatGPT真实的上下文长度是多少？不是128K！
OpenAI深夜发起价格战，GPT-4o mini爆降99%！GPT-3.5退出历史舞台！
viman3344的专栏
07-19 1161
就在今天深夜，OpenAI宣布全新发布GPT-4o mini全面取代已经老去的GTP-3.5，全新发布的GPT-4o mini具有更小、更强的性能，最重要的是。如果你想升级到GPT4.0服务，可以按照Plus升级教程升级。若还没有GPT账号，请移步获取GPT账号Pronton版或获取GPT账号Gmail版。能力接近原版GPT-4，价格却要便宜一个数量级在ChatGPT应用中，GPT-3.5模型已完全退役，免费用户可以直接使用GPT-4o mini模型。
GPT-4o mini小型模型具备卓越的文本智能和多模态推理能力
weixin_66534253的博客
07-25 1145
GPT-4o mini 是首个应用OpenAI 指令层次结构方法的模型，这有助于增强模型抵抗越狱、提示注入和系统提示提取的能力。这使得模型的响应更加可靠，并有助于在大规模应用中更安全地使用。GPT-4o mini 在学术基准测试中，无论是在文本智能还是多模态推理方面，都超越了 GPT-3.5 Turbo 和其他小型模型，并支持与 GPT-4o 相同的语言范围。
【OpenAI】第三节（上下文）什么是上下文？全面解读GPT中的上下文概念与实际案例
最新发布
万物皆有灵
10-22 2593
在GPT模型中，上下文（Context）是指模型在生成文本时所依赖的输入信息。具体来说，GPT通过分析输入的文本内容，理解其语义和结构，从而生成相关的输出。
一文了解GPT-4o mini：成本低、性能高、支持128K上下文，开发者必备利器！
holdcloud的博客
07-19 2556
OpenAI刚刚官宣了一则重磅消息：全新的"迷你"大语言模型GPT-4omini正式上线！这一次，OpenAI在AI领域又一次掀起了波澜。GPT-4omini不仅继承了GPT-4o的强大性能，还以更低廉的成本、更小巧的体积，为开发者和企业用户提供了一个高性价比的选择。
现有大语言模型(ChatGPT)的上下文理解能力还是假象吗？
数据智能自动化
01-28 5146
按照目前LLM的技术路线，仅仅靠计算概率能否产生人类式理解还是未知，但我们知道人类式理解是能够反语言形式概率的，这可以作为LLM是否理解语言的评估标准，也可以作为图灵测试的评估标准。 反概率的一种表现形式是，人类具有质疑自己所相信的并将注意力重新聚焦到与第一印象不相符的部分的能力。
ChatGPT王炸升级GPT-4 Turbo：更强大还更便宜
2301_80092713的博客
11-08 3610
第一，上下文对话长度，GPT4最大只能支持8k的上下文长度（约等于6000个单词），而GPT-4 Turbo则具有128k上下文长度，以一篇文章约1k字计算，GPT-4 Turbo可同时处理128篇文章。第六，更低的价格和更高的限制，GPT-4 Turbo输入tokens价格仅为GPT-4的1/3，输出tokens价格是GPT-4的1/2；第三，知识库更新，GPT-4 Turbo的现实世界知识截止时间现在是2023年4月，而GPT-4的截止时间为2021年9月。
干货：如何让GPT写长文？（突破上下文长度最大限制）
simoncool23的博客
01-21 6847
上下文长度限制是一个固定的参数，这意味着在一个给定的对话中，它只能记住或参考一定数量的前面的输入和输出。”然后，你可以先让模型写“引言”，保存输出，然后再让模型写“气候变化的证据”，以此类推。”然后，在每次输入时，你可以引用这个摘要，以确保模型记住你正在写的文章的主题和主要事件。当你在使用ChatGPT写长文章，比如写一篇10万字的连载小时，这时候你会发现在同一个对话内，ChatGPT会失忆，会忘记之上相关的内容。例如，如果你想要一个详细的文章，你可以指定：“请写一篇详细的文章关于...”。
如何访问 GPT-4、GPT-4 Turbo 和 GPT-4o？
Android23333的博客
09-01 1966
GPT-4o 是 OpenAI 的新旗舰模型，可以实时推理音频、视觉和文本。GPT-4o 最初将在 ChatGPT 和 API 中作为文本和视觉模型提供（ChatGPT 将继续通过预先存在的语音模式功能支持语音）。具体来说，GPT-4o 将在 ChatGPT Free、Plus 和 Team（Enterprise 即将推出）以及 Chat Completions API、Assistants API 和 Batch API 中提供。
硬核！10分钟教你搭建一个本地版GPT4.0！
热门推荐
qq_23966855的博客
08-08 6万+
通过docker把这个项目打包到本地电脑上，直接就能使用上原版GPT4.0。不过这还只是项目的初级版本，等待后续慢慢升级之后，使用体验应该会更佳！这个操作主要使用的是GitHub上的一个开源项目freegpt。这个就是为什么我们可以不用账号就能直接免费使用GPT4的原因。尤其是GPT3.5 16K的模型，拥有更长的上下文记忆长度。这个项目集成了很多官方放出来的GPT4免费资源和各种大模型。一是GPT4模型有时候使用会不太稳定（毕竟是免费的）；（如果这个页面出现其他被勾选的选项，请取消勾选）
如何扩展大模型的上下文长度?
2201_75499313的博客
03-14 3275
本文从 Llama 大模型的结构入手，介绍了其模块结构，重点解析了 Attention 机制中的 RoPE 层。要实现 Llama 模型上下文长度的扩展，需要对应扩展 RoPE 位置编码层。但是直接扩展会导致模型困惑度上升，针对这个问题，我们介绍了业界常见的几种上下文扩展方法，包括位置查找法、动态插值法和 Yarn 方法等。长下文推理对性能要求比较高，为此我们也介绍了一些为了提升性能而优化 Attention 的方法，比如 LongLoRA[10] 这篇论文的 S2-Atten 的方法。
GPT-4 Turbo搭建教程
gsdgdg00的博客
12-04 5701
📑打牌 ：🌤️个人专栏 ：☁️宝剑锋从磨砺出，梅花香自苦寒来。
千亿参数，百万序列 | XTuner 超长上下文训练方案
qq_39967751的博客
04-16 1081
尽管开源模型支持的序列长度不断被刷新，但主流的显存优化策略（如 ZeRO 系列）却不足以解决大模型、长序列训练问题。如图 1 所示，使用 ZeRO-3 显存优化策略训练超长序列时，单纯增加 GPU 数量无法解决超长序列带来的 OOM 问题；这是因为，ZeRO-3 只能优化模型参数和优化器状态占用的显存，超长训列训练过程中的显存开销主要来自激活值，而非模型参数和优化器状态。图1 不同序列长度时，使用 ZeRO-3 训练 128k 上下文 yi-34B 模型的训练情况。
如何用gpt-3.5-turbo api实现上下文关联回答的功能
03-28
使用gpt-3.5-turbo api实现上下文关联回答的功能，需要先了解一下gpt-3.5-turbo api的调用方式和参数设置。 首先，我们需要在OpenAI平台上注册一个账号，然后创建一个gpt-3.5-turbo api的应用程序，并获取API密钥。 接下来，我们可以使用Python编程语言来调用gpt-3.5-turbo api，具体步骤如下： 1. 安装OpenAI的Python SDK，可以使用以下命令进行安装： ```python pip install openai ``` 2. 导入OpenAI的Python SDK，并设置API密钥： ```python import openai openai.api_key = "YOUR_API_KEY" ``` 3. 设置gpt-3.5-turbo api的参数，包括模型ID、上下文、提示文本等： ```python model_engine = "text-davinci-002" # 模型ID context = "I am a student." # 上下文 prompt = "What do you think about the student?" # 提示文本 ``` 4. 调用gpt-3.5-turbo api，获取回答结果： ```python response = openai.Completion.create( engine=model_engine, prompt=prompt, max_tokens=100, n=1, stop=None, temperature=0.5, context=context ) answer = response.choices[0].text.strip() ``` 在上面的代码中，我们使用了OpenAI的Python SDK提供的Completion.create()方法来调用gpt-3.5-turbo api，其中max_tokens参数表示生成的文本长度，n参数表示生成的文本数量，stop参数表示停止字符，temperature参数表示温度值，context参数表示上下文。 最后，我们可以将回答结果输出到屏幕上或者保存到本地文件中： ```python print(answer) ``` 以上就是使用gpt-3.5-turbo api实现上下文关联回答的简单步骤，需要注意的是，对于不同的应用场景，可能需要调整不同的参数来达到更好的效果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值