Agent+RAG+大纲驱动,AI创作新风暴

嘿,大家好!这里是一个专注于AI智能体的频道~ 争取给家人们带来越来越多的干货!

今天给大家分享斯坦福大学最近的一项研究,探讨了如何利用LLMs从头开始撰写基础、结构良好的长篇文章,达到与维基百科页面相当的广度和深度。(后文有代码结果示例!)

Assisting in Writing Wikipedia-like Articles From Scratch with Large Language Models

我们研究如何应用大型语言模型从头开始编写扎根且有组织的长篇文章,其广度和深度与维基百科页面相当。这个尚未充分探讨的问题在写作前阶段提出了新的挑战,包括如何在写作前研究主题并准备大纲。我们提出了STORM ,一种通过检索和多视角提问来合成主题大纲的写作系统。STORM 通过以下方式对预写作阶段进行建模:(1) 在研究给定主题时发现不同的观点,(2) 模拟对话,持不同观点的作者向基于可信互联网来源的主题专家提出问题,(3) 整理收集到的信息创建一个轮廓。为了进行评估,我们构造了 FreshWiki(最新高质量维基百科文章的数据集),并制定了大纲评估来评估预写作阶段。我们进一步收集经验丰富的维基百科编辑的反馈。与由大纲驱动的检索增强基线生成的文章相比,STORM 的更多文章被认为是有组织的(绝对增加了 25%)并且覆盖范围广泛(增加了 10%)。专家反馈还有助于识别生成接地气的长文章的新挑战,例如来源偏见转移和不相关事实的过度关联。

先整出来一个大纲,然后再写作。但是,这事儿说起来容易做起来难,因为你得先了解一大堆信息,然后才能写出大纲来。

当给定一个主题之后,它先去网上搜一堆类似主题的维基百科文章,然后琢磨出不同的视角。这样,它就能从多个角度提出问题,而不是只停留在表面。

接下来,STORM会模拟一场对话,就像两个人聊天一样。一边是“作家”,其实就是STORM自己,另一边是“专家”,这个专家是一个基于RAG的回答过程。

在对话中,STORM会根据话题、自己的视角和之前的对话内容,提出问题。然后,它会把这些问题变成搜索关键词,去找答案。找到的答案还得过一遍筛子,确保来源靠谱。

找到答案后,STORM会整理一下,形成一个答案。这个答案不仅会用来回应问题,还会存起来,以后写文章的时候用得上。

聊了一大堆后,STORM就对话题了解得差不多了。这时候,它会开始写大纲。先根据自己的理解,弄一个初步的版本,然后再结合之前的对话,把大纲做得更完整。

最后,在预写阶段创建的大纲和收集的参考资料的基础上,逐段撰写全文。每段都会根据语义相似性从参考资料中检索相关信息,并生成带有引用的文本。

在langgraph的tutorial中,已经有了这个算法的教程(虽然论文是上个月出的~,这也是上周推文中提到的agent是否要用框架一方面把。)

代码地址见后文,具体内容不复制了,可以看看例子,

输入:“百万级上下文窗口语言模型对检索增强生成(RAG)的影响” 初始大纲:

扩展后很复杂:

最后写的有那味道了:

代码地址:https://github.com/langchain-ai/langgraph/blob/main/docs/docs/tutorials/storm/storm.ipynb

好了,这就是我今天想分享的内容。如果你对构建AI智能体感兴趣,别忘了点赞、关注噢~

随着大模型的持续爆火,各行各业都在开发搭建属于自己企业的私有化大模型,那么势必会需要大量大模型人才,同时也会带来大批量的岗位?“雷军曾说过:站在风口,猪都能飞起来”可以说现在大模型就是当下风口,是一个可以改变自身的机会,就看我们能不能抓住了。

那么,我们该如何学习大模型?

作为一名热心肠的互联网老兵,我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

一、大模型全套的学习路线

学习大型人工智能模型,如GPT-3、BERT或任何其他先进的神经网络模型,需要系统的方法和持续的努力。既然要系统的学习大模型,那么学习路线是必不可少的,下面的这份路线能帮助你快速梳理知识,形成自己的体系。

L1级别:AI大模型时代的华丽登场

L2级别:AI大模型API应用开发工程

L3级别:大模型应用架构进阶实践

L4级别:大模型微调与私有化部署

一般掌握到第四个级别,市场上大多数岗位都是可以胜任,但要还不是天花板,天花板级别要求更加严格,对于算法和实战是非常苛刻的。建议普通人掌握到L4级别即可。

以上的AI大模型学习路线,不知道为什么发出来就有点糊,高清版可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

二、640套AI大模型报告合集

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。

img

三、大模型经典PDF籍

随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

四、AI大模型商业化落地方案

img

以上的AI大模型学习资料,都已上传至CSDN,需要的小伙伴可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值