AIGC 前沿研究：微软开源的GraphRAG爆火；清华团队提出智能体互联网（IoA）框架；首个视频自训练方法...

最新推荐文章于 2024-08-24 20:42:47 发布

小天才学习机打游戏

最新推荐文章于 2024-08-24 20:42:47 发布

阅读量637

点赞数 23

文章标签： AIGC microsoft 人工智能算法智能手机安全语言模型

本文链接：https://blog.csdn.net/m0_59164520/article/details/140504937

版权

01.GraphRAG：以全新方式探索无结构文本

本月初，微软发布最强 RAG 知识库开源方案 GraphRAG，项目上线即爆火，现在星标量已经达到 10.5k。

项目地址：https://github.com/microsoft/graphrag
官方文档：https://microsoft.github.io/graphrag/

微软提出的 GraphRAG 利用 LLM 根据输入的文本库创建一个知识图谱。这个图谱结合社区摘要和图机器学习的输出，在查询时增强提示。

图注：GraphRAG 和传统 RAG 对比结果

GraphRAG 是一种借助语言模型力量来探索无结构文本的新方法。这是一个在 Azure 上运行的快速启动项目，使得用户能够轻松启动和探索无结构文本。GraphRAG 的核心技术是基于语言模型，可以有效处理、分析并提取无结构文本中的关键信息。利用 Azure 的强大计算和存储能力，GraphRAG 能够实现快速、高效的文本处理，大大提高了数据处理和分析的效率。

图注：生成式 AI 的进化

02.清华团队提出智能体互联网（IoA）框架

受互联网概念的启发，来自清华大学的研究团队及其合作者提出了智能体互联网（Internet of Agents，IoA），这是一个新颖的框架，通过为基于 LLM 的多智能体协作提供灵活、可扩展的平台。

IoA 背后的动机：让人工智能 Agents 能够像人类一样在互联网上协作。它是一个开源框架，旨在创建一个平台，让不同的人工智能 Agents 可以合作解决复杂的任务。例如，像 AutoGPT 和 Open Interpreter 这样的 Agent 可以聚在一起，分享他们独特的技能，并解决单个 Agent 无法解决的棘手问题。

图1：IoA设计的分层架构概念图示

论文链接：https://arxiv.org/abs/2407.07061
GitHub 地址：https://github.com/OpenBMB/IoA

主要特点：

受互联网启发的架构：就像互联网连接人们一样，IoA 可以连接不同环境中的不同 AI Agent。
自主嵌套团队组建：Agent 可以自行组建团队和子团队，适应复杂的任务。
异构Agent集成：将具有不同技能和背景的 Agent 聚集在一起，有点像组建一支全明星团队。
异步任务执行：Agent 可以执行多任务，从而提高整个系统的效率。
自适应对话流：对话流自主管理，以保持 Agent 对话的结构化但灵活。
可扩展且易于扩展：轻松添加新类型的 Agent 或处理不同类型的任务。

图4：IoA主要组件的示例演示流程

通过在通用助手任务、具身AI任务和检索增强生成基准上的广泛实验，展示了IoA在促进异构智能体间有效协作方面的性能，一致性地超越了现有的最先进基线。

03.谷歌DeepMind推出开放视觉语言模型PaliGemma

PaliGemma 是基于 SigLIP-So400m 视觉编码器和 Gemma-2B 语言模型的开放式视觉语言模型（VLM）。经过训练，PaliGemma 成为了一个通用的、知识面广、可有效转移的基础模型，在各种开放世界任务中均表现出色。在这项工作中，Google DeepMind 团队评估了 PaliGemma 在近 40 项不同任务上的表现，包括标准 VLM 基准，以及遥感和分割等更专业的任务。

图1：PaliGemma框架

论文链接：https://arxiv.org/abs/2407.07726

04.斯坦福、谷歌团队推出首个视频自训练方法Video-STaR

斯坦福大学和 Google Research 的研究团队提出了首个视频自训练方法——增强推理视频自训练（Video Self-Training with augmented Reasoning，Video-STaR）。

Video-STaR 是一种新的方法，用于改进大型视觉语言模型（LVLMs）。通过自我训练和增强推理，Video-STaR 能够提高模型的学习能力和预测准确性。这种方法的主要优势在于，它不仅可以自我学习，还可以通过增强推理来提高模型的性能。这是一种全新的方法，旨在利用最新的技术来改进视觉语言模型的效果。

图1：Video-STaR概况

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述