斯坦福推STORM：智能RAG实现复杂研究目标

最新推荐文章于 2025-04-06 01:36:38 发布

程序猿李巡天

最新推荐文章于 2025-04-06 01:36:38 发布

阅读量1.4k

点赞数 27

文章标签： storm 大数据人工智能神经网络深度学习 AIGC 数据仓库

本文链接：https://blog.csdn.net/m0_59235945/article/details/143865349

版权

斯坦福大学最新推出的AI研究系统STORM，让「提问-回答」式RAG黯然失色！

这个名为STORM（Synthesis of Topic Outlines through Retrieval and Multi-perspective Question Asking）的系统，不仅支持复杂研究任务，还能生成维基百科风格的文章。

更厉害的是，它还通过了10位资深维基百科编辑的考验！

STORM：AI研究的新范式

STORM与传统的RAG（检索增强生成）系统有何不同？它采用了一种巧妙的方法：通过模拟多视角对话来达成研究目标。

具体来说，STORM会：

使用LLM代理模拟「视角引导对话」
扩展「大纲驱动RAG」以生成更丰富的文章内容

这种方法不仅能处理复杂的多步骤长上下文研究任务，还能生成高质量的研究文章。

维基百科编辑都说好

STORM的表现如何？史丹福大学找来了10位经验丰富的维基百科编辑进行评测。

结果显示：

70%的编辑认为STORM在写作前期的研究阶段非常有用
在与传统文章生成方法的对比中，STORM在多个指标上都表现出色

这些结果表明，STORM不仅能协助研究，还能生成高质量的初稿，为人类编辑提供有力支持。

开源且支持本地文档

STORM的另一大亮点是它的开放性：

开源：代码已在GitHub上公开
支持多种实现：包括Python包和基于LangGraph的实现
灵活的数据源：不仅支持网络搜索，还能对接本地文档库

这意味着研究人员和开发者可以根据自己的需求定制STORM，甚至将其应用于专有数据集。

仓库地址：

https://github.com/stanford-oval/storm/tree/main

实际应用：FEMA灾害应对文档分析

为了测试STORM的实际效果，研究人员使用了34份来自美国联邦应急管理局（FEMA）的灾害准备和应对文档。

def  parse_pdfs (): ``    """`    `解析指定目录中的所有 PDF 文件并加载其内容。``   `    `此函数遍历 PDF_DIR 指定的目录中的所有文件，`    `检查它们是否具有 .pdf 扩展名，并使用 PyPDFLoader 加载其内容。`    `每个 PDF 的加载内容都附加到列表中，然后返回该列表。``   `    `返回：`        `列表：包含所有已加载 PDF 文档内容的列表。`    `"""`     `docs = []``     pdfs = os.listdir(PDF_DIR)  ``     print ( f"我们有{ len (pdfs)} 个pdfs" )  ``     for pdf_file in pdfs:  ``         if  not pdf_file.endswith( ".pdf" ):  ``             continue  ``         print ( f"正在加载 PDF：{pdf_file} " )  ``        file_path = f" {PDF_DIR} / {pdf_file} "`         `loader = PyPDFLoader(file_path)``         docs = docs + loader.load()  ``        print ( f"已加载{ len (docs)}文档”）``   `    `返回文档``   ``   ``docs = parse_pdfs（）``   ``text_splitter = RecursiveCharacterTextSplitter（chunk_size = 1000，chunk_overlap = 200）``chunks = text_splitter.split_documents（docs）

他们提出了一个具有挑战性的问题：

「比较不同类型灾害的财务影响及其对社区的影响」

def  summary_text ( text, prompt ): ``    """`    `根据用户的提示生成一些文本的摘要``   `    `参数：``   `    `text (str) - 要分析的文本`    `prompt (str) - 关于如何总结文本的提示说明，例如“生成标题”``   `    `返回：``   `    `summary (text) - LLM 生成的摘要``   `    `"""`     `messages = [``         (  ``             "system" ,  ``             "您是一位助手，可以非常简短地用一句话描述文本。" ,  ``         ),  ``         ( "human" , f" {prompt} :: \n\n {text} " ),  ``     ]  ``     ai_msg = llm.invoke(messages)  ``     summary = ai_msg.content  ``return summary` `   ``   ``def  enrich_metadata ( docs ): ``    """`    `使用 LLM 填充文本块的“标题”和“说明” 参数``   `    `：``   `    `docs (list) - LangChain 文档列表``   `    `返回：``   `    `docs (list) - 填充了元数据字段的 LangChain 文档列表``   `    `"""`     `new_docs = []``for doc in docs:` `   `        `# pdf 名称是 doc.metadata['source'] 的最后一部分`        `pdf_name = doc.metadata[ "source" ].split( "/" )[- 1 ]` `   `        `# 在 df 中查找 pdf_name 位于 URL 中的行 row`         `= df[df[ "Document" ]. str .contains(pdf_name)]``        page = doc.metadata[ "page" ] + 1`         `url = f" {row[ 'Document' ].values[ 0 ]} ?id= { str (uuid4())} #page= {page} "` `   `        `# 我们将使用 LLM 生成文本的摘要和标题，由 STORM 使用`        `# 这仅用于演示，正确的应用程序应该有更好的元数据`        `summary = summary_text(doc.page_content, prompt= "请描述此文本：" )``         title = summary_text(  ``            doc.page_content, prompt= "请为此文本生成一个 5 字的标题："`         `)` `   `        `doc.metadata[ "description" ] = summary``        doc.元数据[ “标题” ] = 标题 doc.元数据`        `[ “网址” ] =网址 doc``.元数据[ “内容”] = doc.page_content` `   `        `# print(json.dumps(doc.metadata, indent=2))`         `new_docs.append(doc)` `   `    `print ( f"有{ len (docs)}个文档" )` `   `    `return new_docs` `   ``   ``docs = enrich_metadata(docs)` `chunks = enrich_metadata(chunks)

这个问题不仅复杂，而且在给定的文档中并没有直接的答案。STORM需要综合分析多个文档，提取相关信息，并生成一个全面的报告。

结果，STORM成功生成了一篇结构清晰、引用准确的研究文章。这充分展示了STORM在处理复杂研究任务时的强大能力。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述