10.8K+ Star！STORM：一个基于LLM的知识整理系统-CSDN博客

本文链接：https://blog.csdn.net/Python_cocola/article/details/142643202

STORM 简介

STORM[1] 是一个由斯坦福大学开发的，基于大型语言模型（LLM）的知识整理系统。它能够针对特定主题进行互联网搜索，生成带有引用的完整报告。

虽然STORM生成的文章可能需要进一步编辑才能达到出版标准，但经验丰富的维基百科编辑发现它在预写阶段非常有用。

在这里插入图片描述

项目特点

主要特点

预写阶段：系统通过基于互联网的研究收集参考资料，并生成大纲。
写作阶段：系统使用大纲和参考资料生成带有引用的全文文章。
多角度问题提问：通过调查类似主题的现有文章，发现不同视角，并用它们来控制问题提问过程。
模拟对话：模拟维基百科作者与基于互联网资源的主题专家之间的对话，使语言模型能够更新对主题的理解并提出后续问题。

使用场景

STORM适用于需要快速生成关于特定主题的详细报告的场景，尤其是在需要大量参考资料和引用的情况下。

它可以帮助研究人员、作家和编辑在写作的早期阶段快速构建文章框架和内容。

项目使用

安装

可以通过以下命令安装STORM库：

pip install knowledge-storm

或者克隆源代码，以便直接修改STORM引擎的行为：

git clone https://github.com/stanford-oval/storm.git   cd storm   conda create -n storm python=3.11   conda activate storm   pip install -r requirements.txt

API

STORM知识整理引擎被定义为一个简单的Python STORMWikiRunner 类。以下是使用You.com搜索引擎和OpenAI模型的一个示例：

import os   from knowledge_storm import STORMWikiRunnerArguments, STORMWikiRunner, STORMWikiLMConfigs   from knowledge_storm.lm import OpenAIModel   from knowledge_storm.rm import YouRM      lm_configs = STORMWikiLMConfigs()   openai_kwargs = {       'api_key': os.getenv("OPENAI_API_KEY"),       'temperature': 1.0,       'top_p': 0.9,   }   gpt_35 = OpenAIModel(model='gpt-3.5-turbo', max_tokens=500, **openai_kwargs)   gpt_4 = OpenAIModel(model='gpt-4o', max_tokens=3000, **openai_kwargs)   lm_configs.set_conv_simulator_lm(gpt_35)   lm_configs.set_question_asker_lm(gpt_35)   lm_configs.set_outline_gen_lm(gpt_4)   lm_configs.set_article_gen_lm(gpt_4)   lm_configs.set_article_polish_lm(gpt_4)   engine_args = STORMWikiRunnerArguments(...)   rm = YouRM(ydc_api_key=os.getenv('YDC_API_KEY'), k=engine_args.search_top_k)   runner = STORMWikiRunner(engine_args, lm_configs, rm)

快速开始

STORM提供了examples文件夹[2]中的脚本，作为使用不同配置运行STORM的快速入门。

自定义管道

如果安装了源代码，可以根据特定用例自定义STORM。

STORM引擎由4个模块组成：知识整理模块、大纲生成模块、文章生成模块和文章润色模块。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述