LongWriter：LLM 万字生成

最新推荐文章于 2024-08-22 07:51:42 发布
最新推荐文章于 2024-08-22 07:51:42 发布
阅读量220 收藏 1
点赞数 3
分类专栏： 三花AI 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_51674085/article/details/141226345
版权


 是一个专门用于解决现有大模型很难一次输出超过 2000 字的项目。

项目提出了名为 AgentWrite 的框架，能讲超长的生成任务分解为子任务，使现有的 LLMs 能连贯生成并输出超过 20000 个单词。

此外，项目还提供了 LongWriter-6k 数据集和用于评估长文本生成性能的 LongBench-Write 和 LongWrite-Ruler 基准测试。

三花AI
关注
  • 3
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
LongWriter 大模型超长输出使用案例
weixin_42357472的博客
08-15 40
参考：大概是通过agent方式区分步骤实现。
LongWriter: 基于LLM代理可以将输出窗口大小扩展到10,000+个单词
deephub
08-16 3995
这篇论文确定了当前LLM的2,000词生成限制,并提出通过在对齐过程中添加长输出数据来增加它们的输出窗口大小。为自动构建长输出数据,开发了AgentWrite,这是一个基于代理的流程,使用现成的LLM创建扩展的、连贯的输出。使用论文构建的LongWriter-6k成功地将当前LLM的输出窗口大小扩展到10,000+词。
清华大学LongWriter语言模型
haleycat的博客
08-18 993
为了解决这个问题，作者引入了AgentWrite，这是一种基于代理的流程，将超长生成任务分解为子任务，使现成的LLMs能够生成超过20,000字的连贯输出。为了确保输出的连贯性，当我们调用模型生成第n段时，我们还输入之前生成的n−1段，让模型基于现有的写作历史继续写下一段。尽管这种串行方式防止了并行调用模型同时完成多个子任务，并且输入长度变得更长，但我们的验证显示，通过这种方式获得的写作整体连贯性和质量远优于并行生成的输出。在当今信息爆炸的时代，写作已不仅仅是表达思想的工具，更是沟通、分享和影响的桥梁。
论文解读：LONGWRITER: UNLEASHING 10,000+ WORD GENERATION FROM LONG CONTEXT LLMS
m0_75077001的博客
08-17 882
现象：当前的大预言模型可以接受超过100,000个tokens的输入，但是却难以生成超过2000个token的输出。原因：监督微调过程(SFT)中看到的样本没有足够长的样本。结果：9B参数的模型已经可以在 benchmark上取得最佳效果，只需要在模型对齐过程中具有扩展数据。
Long-Context下LLM模型架构全面介绍
人工智能讲师分享前沿技术
11-28 459
深度学习自然语言处理 原创作者：cola随着ChatGPT的快速发展，基于Transformer的大型语言模型(LLM)为人工通用智能(AGI)铺平了一条革命性的道路，并已应用于知识库、人机界面和动态代理等不同领域。然而，存在一个普遍的限制:当前许多LLM受资源限制，主要是在较短的文本上进行预训练，使它们对现实世界中常见的较长的上下文提示不太有效。本文对基于Transformer的LLM模型架构的进展进行了全面的介绍。论文：Advancing Transformer Architecture in Long
AgentWriter，让大模型输出万字长文，清华、智谱联合开源
m0_59164304的博客
08-15 838
今天看一下清华和智谱AI联合发布的这个新研究，如何通过Agent让LLM写出长达万词的长文！这可比写一篇毕业论文还要长呢！当前的长上下文大型语言模型 （LLM） 可以处理多达 100,000 个标记的输入，但难以生成超过 2,000 个单词的适度长度的输出。通过对照实验，我们发现模型的有效生成长度本质上受其在监督微调 （SFT） 期间看到的样本的限制。换言之，它们的输出限制是由于现有 SFT 数据集中长输出样本的稀缺性。为了解决这个问题，。
java nio网络编程_java网络编程基础（五）—NIO非阻塞编程
weixin_39959794的博客
02-16 153
本节讲点：NIO引入：分析普通Socket通信中存在的IO问题--阻塞通信，并分析传统的线程池的优缺点，进而引入NIO解决方案NIO核心框架：讲解NIO的4个核心概念所对应的框架包，包括缓存Buffer、字符集Charset、通道Channel及选择器Selector缓存Buffer：是包含数据且用于读写的线性表结构。字符集Charset：提供Unicode字符串映射到字节序列及逆映射操作通道Ch...
LLM.04 TimeBench:LLM时间推理能力的综合评估
06-29
### LLM.04 TimeBench: LLM时间推理能力的综合评估 #### 概述 随着自然语言处理（NLP）技术的迅速发展，大型语言模型（LLMs）已经成为推动这一领域进步的关键力量。然而，在众多研究和应用中，对于时间推理能力的...
论文译文：LLM Maybe LongLM: SelfExtend LLM Context Window Without Tun
07-10
### LLM Maybe LongLM: SelfExtend LLM Context Window Without Tuning #### 摘要 本文探讨了一种称为SelfExtend的新方法，旨在扩展语言模型（LLM）的上下文窗口，使其能够在不进行微调的情况下处理长序列。该方法...
大模型学习资料：LLM大语言模型的学习路径和各种最佳实践
12-19
大模型学习资料：大语言模型的学习路径和各种最佳实践，包含大模型推荐、大语言模型原理解读、没有训练大模型的条件应该如何训练、大模型相关的论文列表、大模型相关的论文解读，非常全的资料和学习路线，目前大模型...
巨型语言模型的 8 位量化：LLM.int8() 中文版论文
06-12
### 巨型语言模型的 8 位量化：LLM.int8() #### 概述 随着深度学习技术的发展，特别是自然语言处理（NLP）领域内的进步，大型语言模型（LLM）已成为人工智能领域的核心组成部分。然而，这些模型通常需要庞大的计算...
1-6 图文： LLM 进化路线与现状【学习辅导笔记】（1）.pdf
06-15
这类模型的核心优势在于它们能够通过自我学习的方式捕捉到语言中的复杂模式和结构，从而实现对文本的理解和生成。 #### 三、LLM的进化路线 ##### 3.1 基于传统神经网络的语言模型 在LLM出现之前，早期的语言模型...
【大模型理论篇】大模型时代下Bert去哪啦？
weixin_65514978的博客
08-20 1453
bert、自然语言处理、transformer、encoder、gpt、decoder、nlu、nlg、微调、fine-tuning
天猫商品详情API：深度挖掘商品推荐与关联的新路径
2401_85789772的博客
08-20 752
天猫商品详情API是天猫开放平台提供的一项服务，旨在帮助开发者获取天猫平台上商品的详细信息，包括但不限于商品标题、价格、销量、描述、图片以及推荐与关联商品等。这一接口不仅为购物者提供了丰富的商品信息，也为商家和开发者提供了强大的数据支持，助力其优化商品展示策略，提升用户购物体验。天猫商品详情API为开发者提供了深入挖掘商品推荐与关联信息的新途径。通过合理利用这一接口，开发者可以实现精准的商品推荐与关联展示，提升用户体验和平台运营效率。
零基础学习人工智能—Python—Pytorch学习（六）
kiba518的博客
08-21 843
前言 本文主要讲神经网络的上半部分。 这篇文章开始有很多公式了，这些公式都很简单，但是如果是不经常在脑海里思考公式的人，那可能需要多花点时间做一下自我训练，个人感觉，也就几天时间，就能把自己感觉给调整出来。 习惯了公式看下面内容就会轻松很多，另外如果要深入学习人工智能，熟练的认知公式也是个必须的事情。 另外，我发现我前面文章写的有歧义的地方还是挺多，虽然，已经改了一部分，但，可能还有没发现的，大...
24 优化算法
kaszxc的博客
08-19 546
深度学习模型大多是非凸的所以关于凸优化的很多理论无法使用小批量随机梯度下降是最常用的优化算法冲量对梯度做平滑冲量法是一个简单的稳定优化的算法Adam 对梯度做平滑，且对梯度各个维度值做重新调整通过实践发现，Adam 不一定比冲量法准确率高或者是收敛快，但是整体来讲 Adam 是比较稳定的，Adam 对学习率不那么敏感，使得调参相对来讲会更加容易一点范围之中（进行维度上的调整）分母中的 ε 的作用是保证分母不等于零。
基于Python星载气溶胶数据处理与反演分析
lwjnlqiqi的博客
08-21 1149
Python星载气溶胶数据处理与反演分析
基于YOLO V8的PCB缺陷检测识别系统（python源码+Pyqt5界面+数据集+训练代码）
最新发布
2401_83580557的博客
08-22 414
基于YOLO V8的PCB缺陷检测识别系统【python源码+Pyqt5界面+数据集+训练代码】
Transformer经典模型实战：零基础训练一个面向中文的T5模型（Text to Text Transfer Transformer）
bayesian1的博客
08-20 1077
Transformer经典模型实战：零基础训练一个面向中文的T5模型（Text to Text Transfer Transformer），通过构建T5模型，采用中文重写任务的数据集进行训练，模型效果非常好，貌似还涌现出了一定的创造力。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值