【论文阅读】LLM撰写长文！《Assisting in Writing Wikipedia-like Articles From Scratch with Large Language Models》

最新推荐文章于 2024-12-18 00:14:04 发布
最新推荐文章于 2024-12-18 00:14:04 发布
阅读量1.9k 收藏 9
点赞数 6
分类专栏： AI论文阅读 文章标签： 论文阅读 语言模型 人工智能 chatgpt transformer 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bylander/article/details/138232272
版权

这篇论文非常有意思，也非常有用，讲述了如何利用LLM撰写高质量的长篇文章。
https://arxiv.org/html/2402.14207v2
项目：github.com/stanford-oval/storm
Demo：storm.genie.stanford.edu

在这里插入图片描述
摘要：
我们研究了如何应用大型语言模型来从头开始撰写有根据的、有组织的长篇文章，其广度和深度可与 Wikipedia 页面相媲美。这个尚未被充分探索的问题在写作前阶段提出了新的挑战，包括如何研究主题以及在写作前准备大纲。
我们提出了 STORM，一个写作系统，用于通过检索和多角度提问来合成主题大纲。STORM 通过以下方式模拟写作前阶段：(1) 在研究给定主题时发现不同的视角，(2) 模拟对话，其中带有不同视角的写作者向基于互联网可信来源的主题专家提出问题，(3) 策划收集到的信息以创建大纲。
为了评估，我们策划了 FreshWiki，一个包含最近高质量 Wikipedia 文章的数据集，并制定了大纲评估标准来评估写作前阶段。我们还收集了经验丰富的 Wikipedia 编辑的反馈。与由大纲驱动的检索增强型基线生成的文章相比，STORM 的文章在组织性方面被认为更有序（绝对增加了 25%），在覆盖范围方面更广泛（增加了 10%）。
专家反馈还帮助我们识别了生成有根据的长篇文章方面的新挑战，例如来源偏见转移和无关事实的过度关联。

背景

作者设定了研究的背景，介绍了 STORM 系统，以及如何通过模拟人类写作过程的前期阶段来提高自动生成 Wikipedia 类文章的质量。主要讨论了以下几个方面：

  • 写作挑战： 作者指出，使用大型语言模型（LLMs）从头开始撰写类似于 Wikipedia 的长篇文章存在挑战，尤其是在写作前的准备阶段，这包括如何对主题进行研究以及如何准备文章大纲。

  • 现有方法的局限性： 作者讨论了直接提示（Direct

最低0.47元/天 解锁文章
论文阅读：LLM：Scaling Laws for Neural Language Models （上）
微风❤水墨
01-15 2342
当我们在与模型训练数据分布不同的文本上评估模型时，结果与在训练验证集上的结果有强烈的相关性，但损失的偏移约为常数 - 换句话说，转移到不同的分布会产生一个常数的惩罚，但除此之外，性能大致与在训练集上的性能一致。但是，如果我们只固定N、D中的一个，而增加另一个规模，就会出现回报递减的情况。在WebText2数据集上训练的模型，在其他各种数据集上的测试损失也是 N 的幂律，且幂律几乎相同，如上图所示。4：更大的模型显著地更具样本效率，因此，在相对较小的数据量上训练非常大的模型并在收敛之前显著地停止。
Assisting in Writing Wikipedia-like Articles From Scratch with Large Language Models
c_cpp_csharp的专栏
04-18 219
我们研究如何应用大型语言模型从头开始撰写有基础、有组织的长篇文章，其广度和深度与维基百科页面相当。这个未被充分探索的问题在写作前阶段提出了新的挑战，包括如何研究主题并在写作前准备提纲。我们提出了STORM，一个通过检索和多视角提问综合主题提纲的写作系统。STORM通过以下方式对写作前阶段进行建模：（1）在研究给定主题时发现不同的视角；（2）模拟对话，在对话中，持不同视角的作者向基于可信互联网来源的主题专家提出问题；（3）整理收集的信息以创建提纲。
Assisting in Writing Wikipedia-like Articles From Scratch with Large Language Models 论文简介
No trade is free, but my contents are.
12-18 350
本文将详细介绍一篇题为《利用大型语言模型撰写维基百科风格的文章从零开始》（Assisting in Writing Wikipedia-like Articles From Scratch with Large Language Models）的论文。该论文由肖艺嘉、姜雨城、坎内尔·彼得、徐佩德、哈塔卜·奥马尔和拉姆·莫妮卡·斯蒂芬等人共同完成，他们来自斯坦福大学。论文探讨了如何有效地使用大型语言模型来生成类似于维基百科的高质量、全面且深度的文章。
Assisting in Writing Wikipedia-like Articles From Scratchwith Large Language Models
akdjfhx的博客
04-20 256
使用大型语言模型协助从头开始编写类似维基百科的文章
一口气看完！LLM 经典论文 31 篇速读版
qq_31857297的博客
09-02 4276
读不下去的，略读也是不错，美名曰“好读书，不求甚解；每有会意，便欣然忘食。
LLM—文献综述任务（文献检索，相关工作总结生成），论文理解与阅读：LitLLM: A Toolkit for Scientific Literature Review
小小帅
07-31 2514
对科学论文进行文献综述对于了解研究、研究的局限性以及在现有工作的基础上开展研究至关重要。这是一项繁琐的工作，因此自动文献综述生成器很有吸引力。遗憾的是，许多使用大型语言模型（LLM）生成此类综述的现有工作都有很大的局限性。它们往往会产生幻觉–生成非事实信息–并忽略未经训练的最新研究。为了解决这些局限性，我们提出了一个工具包，该工具包根据检索增强生成（RAG）原理运行，在 LLMs 的帮助下采用专门的提示和指导技术。我们的系统首先启动网络搜索，
LLM——多模式学术论文自动解读系统，细节理解与原文阅读：A Multi-Modal Automated Academic Papers Interpretation System
小小帅
06-06 1993
介绍学术论文总结的需求以及现有的问题，引出本文提出的科学文献解释器：在当代信息时代，随着大规模语言模型（LLM）的出现，科学文献的激增达到了前所未有的水平。研究人员迫切需要高效的工具来阅读和总结学术论文，发掘重要的科学文献，并采用多种解释方法。为了满足这一急剧增长的需求，自动科学文献解释系统的作用变得至关重要。然而，现有的商业模式和开源模式都面临着显著的挑战：它们往往忽视多模态数据，难以总结过长的文本，而且缺乏多样化的用户界面。
LLM—人工流程指导的文献总结生成（文献综述任务），论文理解与阅读：ChatCite: LLM Agent with Human Workflow Guidance for Comparative L
小小帅
07-30 1388
文献综述是研究过程中不可或缺的一步。它有助于理解研究问题，了解研究现状，同时对以前的工作进行比较分析。然而，文献总结既具有挑战性又耗费时间。以往基于 LLM 的文献综述研究主要集中在整个过程，包括文献检索、筛选和总结。然而，对于总结步骤，简单的 CoT 方法往往缺乏提供广泛比较总结的能力。在这项工作中，我们首先关注独立的文献总结步骤，并引入了ChatCite-一个具有人类工作流程指导功能的 LLM 代理，用于比较文献总结。
[论文阅读]Label-free Node Classification on Graphs with Large Language Models (LLMS)
m0_52911108的博客
10-13 946
四个组件：难度感知的主动节点选择、置信度感知标注、后过滤，以及 GNN 模型训练与预测。解决了图神经网络（GNN）在节点分类任务中对高质量标签的依赖问题，同时提供了一种高效且经济的无标签节点分类方法论文提出了一种融合GNN和大型语言模型（LLM）的方法，称为LLM-GNN。这种方法通过利用LLM的零样本学习能力，减少了对高质量标签的需求，从而降低了标注成本。LLM-GNN通过主动选择节点供LLM注释，并基于这些注释训练GNN，实现了高效的无标签节点分类。
使用MATLAB的大型语言模型（LLM）Large Language Models (LLMs) with MATLAB
07-27
使用MATLAB的大型语言模型（LLM） 将MATLAB连接到Ollama（用于本地LLM）、OpenAI聊天完成API（支持ChatGPT）和AzureOpenAI服务 使用MATLAB的大型语言模型（LLM） 在MATLAB中打开文件交换上的MATLAB在线查看大型...
论文阅读：LLM：Training Compute-Optimal Large Language Models（下）
微风❤水墨
01-16 1344
尽管得出了同样的结论，但DeepMind认为：大型模型应训练更多的token，远超过OPenAI作者推荐的数量。所以后续的工作都专注于提升参数规模，设计越来越大的模型，而不是在更多的数据上训练较小的模型。使用这些中间损失观测，导致对训练模型在小于130B token的数据上的有效性的低估，并最终导致了一个结论，即模型大小应比训练数据大小增长得更快。在每条曲线的最小值的左侧，模型太小——在较少数据上训练的较大模型将是一种改进。在每条曲线的最小值的右侧，模型太大——在更多数据上训练的较小模型将是一种改进。
大模型落地实践：智慧公文写作，重塑高效政务办公新纪元
weixin_59191169的博客
06-26 2548
2024年《政府工作报告》提到，深化大数据、人工智能等研发应用，开展“人工智能+”行动，强调了人工智能在政务服务领域的重要作用，通过引入人工智能技术，优化政务服务流程，提升政务服务效率，实现政务服务智能化、便捷化。公文，是党政机关实施领导、履行职能、处理公务的重要手段与沟通桥梁，在其日常办公中占据重要地位。公文写作质量直接影响到政府机关的形象、决策的落实和工作的成效，其准确性、逻辑性、规范性至关重要，体现机构的权威性和专业素养。
LLM—使用多个LLM代理进行文献审查，细节理解与原文阅读：SYSTEM FOR SYSTEMATIC LITERATURE REVIEW USING MULTIPLE AI AGENTS
小小帅
06-21 1470
系统文献综述（SLR）已成为循证研究的基础，使研究人员能够根据特定的研究问题对现有研究进行识别、分类和合并。进行系统文献综述在很大程度上需要人工操作。过去几年中，研究人员在 SLR 流程的某些阶段实现自动化方面取得了重大进展，旨在减少开展高质量 SLR 所需的精力和时间。然而，目前仍缺乏基于人工智能代理的模型来自动完成整个 SLR 流程。为此，我们引入了一种新颖的多人工智能代理模型，旨在实现 SLR 过程的完全自动化。通过利用大型语言模型（LLM）的功能，我们提出的模型简化了审查流程，提高了效率和准确性。
LLM-学术研究领域大模型AcademicGPT，详细理解与原文阅读：AcademicGPT: Empowering Academic Research
小小帅
06-06 2661
大型语言模型（LLM）已在各种自然语言处理任务中展现出非凡的能力。然而，许多先进的 LLM 都是为广泛的通用应用而量身定制的。在本技术报告中，我们将介绍专为学术研究而设计的 AcademicGPT。AcademicGPT 是源于 LLaMA2-70B 的持续训练模型。我们的训练语料库主要由学术论文、论文、某些学术领域的内容、高质量中文数据等组成。虽然在数据规模上并不庞大，但 AcademicGPT 标志着我们首次涉足为研究领域量身定制的特定领域 GPT。
科学LLM—科学大语言模型综述，原文阅读：A Comprehensive Survey of Scientific Large Language Models and Their Applicatio
小小帅
09-04 2021
1.纯文本：1.1.纯文本—数据集：科学LLM 最常用的预训练语料库是来自书目数据库的研究论文，例如AMiner、Microsoft Academic Graph (MAG)和 Semantic Scholar。其中一些来源（S2ORC）包含论文全文信息，而其他来源仅包含标题和摘要。1.2.纯文本—Model分类（预训练方式）：早期的科学LLM模型在预训练期间以自监督的方式利用论文文本，旨在从大规模未标记语料库中获取科学知识。
万字长文梳理 LLM 中的长文本问题
人工智能讲师分享前沿技术
04-19 556
靠后的维度，在训练中无法见到完整的旋转周期，或者见到的旋转周期非常少，训练不够充分，外推性能弱，需要进行位置插值。与标准的 Transformer 相比，一般的 Transformer 的训练过程中，相关与不相关文档没有被得到有效区分（正负样本分散均匀），当文档数量扩展时，注意力变得越来越分散，而 Focused Transformer 则通过 CrossBatch 的训练目标使得模型有效的关注与区分的长文本下的相关与无关的 key-value 的空间结构，从而解决了分心的问题。
LFS Linux From Scratch 笔记2（经验非教程）BLFS
weixin_30794851的博客
03-12 146
LFS 完了。 其实还没完，还要装一些其他的组件，系统才算是对人类有用的系统。 正好这里有个BLFS Beyound Linux From Scratch 的教程。 其实，按照现有的可运行的LFS系统，我们完全可以直接自己编译。加入一些组件。只是BLFS里面加入了一些真正我们常用的组件，帮你顺理了一下思路。 看上去文件内容很多。http://www.linuxfromscratch....
Build a Large Language Model (From Scratch) 从头开始构建大型语言模型(第一章)学习笔记
专注于全栈开发领域
04-19 5005
LLM 是一种大型语言模型，是一种旨在理解、生成和响应类人文本的神经网络。这些模型是在大量文本数据上训练的深度神经网络，有时涵盖互联网上整个公开文本的大部分。大语言模型中的“大”指的是模型的参数大小和训练它的巨大数据集。像这样的模型通常有数百甚至数千亿个参数，这些参数是网络中的可调整权重，在训练期间进行优化以预测序列中的下一个单词。下一个单词预测是明智的，因为它利用语言固有的顺序性质来训练模型来理解文本中的上下文、结构和关系。
从零构建大模型：`LLMs-from-scratch` 项目深度解析
gitblog_00068的博客
03-19 1275
从零构建大模型：LLMs-from-scratch 项目深度解析 项目地址:https://gitcode.com/gh_mirrors/ll/LLMs-from-scratch 在这个快速发展的AI时代，预训练语言模型如BERT、GPT等已经成为自然语言处理（NLP）领域的基石。然而，对于开发者和研究者来说，理解这些复杂模型的工作原理并从头开始实现它们，不仅可以深化理论知识，还能提升实践能力。L...
DeepSeek LLM: Scaling Open-Source Language Models with LongtermismDeepSeek LLM
最新发布
02-06
### DeepSeek LLM及其长期主义扩展开源语言模型的最佳实践 #### 概述 DeepSeek作为一个致力于开发先进的人工智能解决方案的企业，其大型语言模型（LLM）旨在通过创新的技术手段实现更高效、更具影响力的自然语言处理能力。为了推动这一目标，在实践中采用了多种策略和技术来优化和扩展开源语言模型。 #### 长期主义视角下的模型扩展方法 对于希望采用长期主义原则扩展开源语言模型的研究者而言，可以借鉴如下几种方式： - **持续的数据更新机制**：保持训练语料库的新鲜度至关重要。定期引入新的高质量数据集有助于提升模型的理解能力和表达多样性[^4]。 - **模块化架构设计**：构建易于维护升级的系统结构，使得各个组件之间解耦合良好，便于单独迭代改进不同部分而不影响整体稳定性[^2]。 - **社区驱动的发展模式**：鼓励全球范围内的贡献者参与进来共同完善项目生态；这不仅限于代码层面还包括文档编写、测试反馈等方面的工作[^1]。 #### 实施细节与最佳实践建议 当具体实施上述理念时，应考虑以下几个方面： - **资源分配规划**：合理安排计算资源用于实验探索与生产部署之间的平衡；优先支持那些具有潜力带来显著收益的方向进行深入研究[^3]。 - **性能监控体系建立**：设立完善的指标跟踪框架以便及时发现潜在瓶颈所在，并据此调整算法参数或硬件配置以求得最优性价比表现。 - **安全性和隐私保护措施加强**：随着模型规模不断扩大，确保用户信息安全成为不可忽视的任务之一。采取加密传输协议、匿名化处理敏感信息等手段有效降低风险隐患。 ```python import torch from transformers import AutoModelForCausalLM, AutoTokenizer def load_model(model_name="deepseek/llm"): tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained(model_name) return model, tokenizer model, tokenizer = load_model() print("Model loaded successfully.") ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

bylander

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值