Agent+RAG+大纲驱动，AI创作新风暴

于 2024-10-06 16:17:36 发布
阅读量539 收藏 7
点赞数 14
分类专栏： AGI 程序人生 文章标签： 人工智能 大数据 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_71745484/article/details/142728428
版权

嘿，大家好！这里是一个专注于AI智能体的频道~ 争取给家人们带来越来越多的干货！

今天给大家分享斯坦福大学最近的一项研究，探讨了如何利用LLMs从头开始撰写基础、结构良好的长篇文章，达到与维基百科页面相当的广度和深度。（后文有代码结果示例！）

Assisting in Writing Wikipedia-like Articles From Scratch with Large Language Models

我们研究如何应用大型语言模型从头开始编写扎根且有组织的长篇文章，其广度和深度与维基百科页面相当。这个尚未充分探讨的问题在写作前阶段提出了新的挑战，包括如何在写作前研究主题并准备大纲。我们提出了STORM ，一种通过检索和多视角提问来合成主题大纲的写作系统。STORM 通过以下方式对预写作阶段进行建模：(1) 在研究给定主题时发现不同的观点，(2) 模拟对话，持不同观点的作者向基于可信互联网来源的主题专家提出问题，(3) 整理收集到的信息创建一个轮廓。为了进行评估，我们构造了 FreshWiki（最新高质量维基百科文章的数据集），并制定了大纲评估来评估预写作阶段。我们进一步收集经验丰富的维基百科编辑的反馈。与由大纲驱动的检索增强基线生成的文章相比，STORM 的更多文章被认为是有组织的（绝对增加了 25%）并且覆盖范围广泛（增加了 10%）。专家反馈还有助于识别生成接地气的长文章的新挑战，例如来源偏见转移和不相关事实的过度关联。

先整出来一个大纲，然后再写作。但是，这事儿说起来容易做起来难，因为你得先了解一大堆信息，然后才能写出大纲来。

当给定一个主题之后，它先去网上搜一堆类似主题的维基百科文章，然后琢磨出不同的视角。这样，它就能从多个角度提出问题，而不是只停留在表面。

接下来，STORM会模拟一场对话，就像两个人聊天一样。一边是“作家”，其实就是STORM自己，另一边是“专家”，这个专家是一个基于RAG的回答过程。

在对话中，STORM会根据话题、自己的视角和之前的对话内容，提出问题。然后，它会把这些问题变成搜索关键词，去找答案。找到的答案还得过一遍筛子，确保来源靠谱。

找到答案后，STORM会整理一下，形成一个答案。这个答案不仅会用来回应问题，还会存起来，以后写文章的时候用得上。

聊了一大堆后，STORM就对话题了解得差不多了。这时候，它会开始写大纲。先根据自己的理解，弄一个初步的版本，然后再结合之前的对话，把大纲做得更完整。

最后，在预写阶段创建的大纲和收集的参考资料的基础上，逐段撰写全文。每段都会根据语义相似性从参考资料中检索相关信息，并生成带有引用的文本。

在langgraph的tutorial中，已经有了这个算法的教程（虽然论文是上个月出的~，这也是上周推文中提到的agent是否要用框架一方面把。）

在这里插入图片描述

代码地址见后文，具体内容不复制了，可以看看例子，

输入：“百万级上下文窗口语言模型对检索增强生成（RAG）的影响” 初始大纲：

在这里插入图片描述

扩展后很复杂：

最后写的有那味道了：

代码地址：https://github.com/langchain-ai/langgraph/blob/main/docs/docs/tutorials/storm/storm.ipynb

好了，这就是我今天想分享的内容。如果你对构建AI智能体感兴趣，别忘了点赞、关注噢~

随着大模型的持续爆火，各行各业都在开发搭建属于自己企业的私有化大模型，那么势必会需要大量大模型人才，同时也会带来大批量的岗位？“雷军曾说过：站在风口，猪都能飞起来”可以说现在大模型就是当下风口，是一个可以改变自身的机会，就看我们能不能抓住了。

那么，我们该如何学习大模型？
作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么？
  • 大模型是怎样获得「智能」的？
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例：向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范
  • …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示（Embeddings）
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署
  • …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2：手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建
  • …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身：基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例：如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案
  • …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
AGI-杠哥
关注
专栏目录
智胜未来：国内大模型+Agent应用案例精选，以及主流Agent框架开源项目推荐
丨汀、的博客
07-25 1635
智胜未来：国内大模型+Agent应用案例精选，以及主流Agent框架开源项目推荐
RAG+AI工作流+Agent：LLM框架该如何选择，全面对比MaxKB、Dify、FastGPT、RagFlow、Anything-LLM,以及更多推荐
python12222_的博客
09-17 961
开箱即用：支持直接上传文档、自动爬取在线文档，支持文本自动拆分、向量化、RAG（检索增强生成），智能问答交互体验好；无缝嵌入：支持零编码快速嵌入到第三方业务系统，让已有系统快速拥有智能问答能力，提高用户满意度；灵活编排：内置强大的工作流引擎，支持编排 AI 工作流程，满足复杂业务场景下的需求；模型中立。
AI面试大纲
2401_85343303的博客
05-31 956
在这个案例中，文本首先经过 Tokenization 处理，转化为离散的 token，然后这些 token 被映射为实数向量（embedding）。通过 BERT 模型生成的上下文相关的词向量，可以捕捉到句子中每个词的语义信息。最后，这些词向量被用于情感分析任务，帮助模型预测句子的情感类别。通过这种方式，Token 和 Embedding 技术极大地提升了自然语言处理任务的效果。AI Agent 和 RAG 代表了两种不同的智能系统方法。
漂亮师娘守寡多年终究耐不住寂寞与徒弟一起学习AI大模型应用【LangChain+LlamaIndex+Agent】开发——大纲实战
weixin_48487756的博客
09-23 981
该主题我们会重点讲述 Agent 历史、演进等相关知识。
国内大模型+Agent应用案例精选，以及主流Agent框架开源项目推荐
2401_84208172的博客
08-11 973
Agent是以大模型为核心的智能体，通过与用户对话的形式，来完成各种任务，它很像一个“人”。如果和人做类比，它应该具备以下能力：1.对话式Agent所有资料 ⚡️ ，朋友们如果有需要全套 《》，👉[CSDN大礼包（安全链接，放心点击）]()👈。
NVIDIA AI-AGENT夏季训练营 — 墨尔本大学RAG智能对话机器人
Breatsam的博客
08-18 352
墨尔本大学RAG智能对话机器人旨在通过检索增强生成（Retrieval-Augmented Generation）技术，提升学生在学术咨询、课程推荐及校园信息查询方面的用户体验。该项目基于墨尔本大学的丰富数据资源，通过智能化对话提供高效、准确的信息服务，解决传统FAQ系统在灵活应答和个性化推荐上的不足。项目亮点：基于动态知识更新的实时响应以及强大的语义检索能力。 项目评估： 不足在于筛选出来的数据还是带有很多\n和一些没用的话。 未来方向： 添加文生图和语音向导功能。
《书生大模型实战营第3期》基础岛 第4关 ：InternLM + LlamaIndex RAG 实践
shiter编写程序的艺术
08-11 954
光刻机是电子工业中最重要的设备，也是世界上造价最高的设备。光刻机是电子工业中最重要的设备，也是世界上造价最高的设备。光刻机是电子工业中最重要的设备，也是世界上造价最高的设备。光刻机是电子工业中最重要的设备，也是世界上造价最高的设备。光刻机是电子工业中最重要的设备，也是世界上造价最高的设备。光刻机是电子工业中最重要的设备，也是世界上造价最高的设备。给模型注入新知识的方式，可以简单分为两种方式，一种是内部的，即更新模型的权重，另一个就是外部的方式，给模型注入格外的上下文或者说外部信息，不改变它的的权重。
AI大模型架构设计全解析：LLM Agent实战深度剖析
python12345678_的博客
06-30 910
该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。天道酬勤，你越努力，就会成为越优秀的自己。
大语言模型的Prompt工程、RAG和微调区别及应用示例
wangjye99的博客
05-02 2347
大模型应用中，Prompt工程引导模型输出，RAG利用外部知识增强回答的准确性及丰富度，微调则使模型更好地适应特定任务或领域。三者紧密协作，不仅能提高特定场景下模型的表现，更使其能够精准、高效地完成复杂任务。
无缝融入，即刻智能[二]：Dify-LLM平台(聊天智能助手、AI工作流)快速使用指南，42K+星标见证专属智能方案
丨汀、的博客
08-17 415
无缝融入，即刻智能[二]：Dify-LLM平台(聊天智能助手、AI工作流)快速使用指南，42K+星标见证专属智能方案
LLM系列(0)：行业大模型落地服务在全业务场景的应用与探索【大模型智能问答、NL2SQL、文档智能分析智能生成、AI智能体决策等】
丨汀、的博客
04-26 879
行业大模型落地服务：在全业务场景的应用与探索【大模型智能问答、NL2SQL、文档智能分析智能生成、AI智能体决策等】
Ai能在业务项上解决什么实际问题及其技术路线
yyq916的博客
08-10 1003
最后，结合检索到的信息和问题，生成模型会生成相应的回答。效果：例如，用户询问“如何重置密码”，系统检索到相关的步骤说明，并生成回答：“您可以按照以下步骤重置密码：首先，点击登录页面的‘忘记密码’按钮，然后输入您的注册邮箱或手机号码，系统会向您发送一封重置密码的邮件或短信，您只需按照邮件或短信中的提示进行操作即可。效果：例如，学生询问“牛顿第二定律的公式是什么”，系统检索到相关的教材章节，并生成回答：“牛顿第二定律的公式是F = ma，其中F表示物体所受的合力，m表示物体的质量，a表示物体的加速度。
扩散模型（2）--1
m0_63860007的博客
09-29 982
生成模型通过学习并建模输入数据的分布，从而采集生成新的样木，该模型广泛运用于图片视频生成、文本生成和药物分子生成。扩散模型是一类概率生成模型，扩散模型通过向数据中逐步。
基于Keras的U-Net模型在图像分割与计数中的应用
最新发布
深度学习实战训练营，一起交流探索深度学习
10-04 1184
网络结构优化：项目基于经典的U-Net模型进行改进，采用了更深的网络层次结构，使模型能够在多尺度上捕捉到图像中的细节信息。特别是针对医学图像分割，项目通过增加卷积层数和引入Dropout层来增强模型的特征提取能力，并有效防止过拟合，从而提高模型在训练数据较少情况下的表现。项目中采用了he_normal初始化器和relu激活函数组合，使得网络在训练时能够更快地收敛，降低梯度消失的风险。自定义数据增强策略：在中实现了一个自定义的图像增强类。
大模型~合集5
whaosoft~aiotの开发板商城
10-02 1431
FLock 的机制设计受到了证明权益（PoS）区块链共识机制和桌面游戏《The Resistance》（一种角色扮演类游戏，该游戏的一个变种叫阿瓦隆）的启发。《The Resistance》游戏则通过投票机制，每轮游戏中玩家独立推理并投票，从而实现全局共识。《The Resistance》有两个不匹配的竞争方，其中较大的一方被称为抵抗力量，另一方被称为间谍。在《The Resistance》中，有一个投票机制，在每一轮中，每个玩家进行独立推理并为一个玩家投票，得票最多的玩家将被视为「间谍」并被踢出游戏。
Linux嵌入式有发展吗，以及对uboot，kernel，rootfs的领悟
rjszcb的博客
09-30 812
上一份工作是2022,11—2023，11年底，汽车公司，底层修修改改，编译镜像，修改后，客户给东西，重新编译给他，客制化配置启动参数，环境，支持应用部门，不懂怎么使用某些驱动。uboot到底是干嘛的，想想，emmc的镜像文件是怎么被读到ddr的，emmc为啥可以被分区，烧录镜像，tftp网络命令为啥可以运行，启动设备时，为啥lcd可以看到图像，kernel还没启动，怎么出图像的。不管做应用开发，驱动开发也好，知道，系统原理，驱动框架，进程管理调度，内核竞争，信号，中断，锁，这些就够了。
遥感影像-实例分割数据集：iSAID 从切图到YOLO格式数据集制作详细介绍
GIS潮流
09-30 1264
开源数据集isaid标注包含实例分割，但是原始影像太大，很吃显存，一般显卡无法用原始影像直接训练，所以需要对影像进行裁剪，并生成对应的标签，因为想用yolo系列跑模型，所以将标签需要转为txt格式。
prompt+rag
11-17
根据提供的引用内容，可以得知prompt+RAG的流程如下： 1. 首先，使用Retriever部分在知识库中检索出top-k个匹配的文档zi。 2. 然后，将query和k个文档拼接起来作为QA的prompt，送入seq2seq模型。 3. seq2seq模型生成回复y。 4. 如果需要进行Re-rank，可以使用LLM来rerank，给LLM写好prompt即可。 下面是一个简单的示例代码，演示如何使用prompt+RAG： ```python from transformers import RagTokenizer, RagRetriever, RagSequenceForGeneration # 初始化tokenizer、retriever和seq2seq模型 tokenizer = RagTokenizer.from_pretrained('facebook/rag-token-base') retriever = RagRetriever.from_pretrained('facebook/rag-token-base', index_name='exact', use_dummy_dataset=True) model = RagSequenceForGeneration.from_pretrained('facebook/rag-token-base') # 设置query和context query = "What is the capital of France?" context = "France is a country located in Western Europe. Paris, the capital city of France, is known for its romantic ambiance and iconic landmarks such as the Eiffel Tower." # 使用Retriever部分检索top-k个匹配的文档 retrieved_docs = retriever(query) # 将query和k个文档拼接起来作为QA的prompt input_dict = tokenizer.prepare_seq2seq_batch(query, retrieved_docs[:2], return_tensors='pt') generated = model.generate(input_ids=input_dict['input_ids'], attention_mask=input_dict['attention_mask']) # 输出生成的回复 generated_text = tokenizer.batch_decode(generated, skip_special_tokens=True)[0] print(generated_text) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值