一文搞懂大模型、RAG、函数调用、Agent、知识库、向量数据库、知识图谱、AGI的区别和联系!!

背景

当我们把AI大模型视作人的大脑时,调用A大模型就如同调用一个人的智慧。将AI大模型人格化,意味着它应该能够理解人类的语言(懂人话)、用人类的语言进行表达(说人话),并直接给出结果。然而,重要的是要认识到,尽管AI大模型可以提供快速的答案,但这些结果并不总是完全准确。

在AI大模型的推理基础上,我们采用了多种技术手段来实现真正的AGI(通用人工智能),这些技术包括Prompt、RAG、Agent、知识库、向量数据库和知识图谱等。这些技术各自有其独特的作用和优势,但同时也相互关联,共同推动着AGI的发展。这些技术到底有哪些区别和联系,下图作了横向对比,接下来我们详细剖析下。

01 大语言模型(LLM)

大语言模型(LLM)是AI领域的重要支柱,通过深度学习方法利用庞大的文本数据集进行训练,从而具备了生成自然流畅语言文本以及准确理解语言深层语义的能力。这些模型广泛应用于自然语言处理任务,如文本分类、智能问答和人机交互对话等。

过去一年,大语言模型及其在AI领域的应用受到了全球科技界的瞩目。特别是模型规模的显著增长,参数量从数十亿激增到如今的万亿级别,使得模型在捕捉人类语言微妙差异和洞察复杂本质方面更加精准。

随着OpenAI GPT-4o的发布,我们回顾过去一年,大语言模型在多个方面取得了显著进步。这些进步包括高效吸纳新知识、有效分解复杂任务以及图文精准对齐等。随着技术的不断演进和完善,大语言模型将继续拓展其应用边界,为人们带来更加智能化、个性化的服务体验,从而深刻改变我们的生活方式和生产模式。

大语言模型拥有推理能力,TA 是一切应用的基石

02 提示词工程(Prompt)

Prompt技术架构可以视为与大语言模型交互的最原始、最直观方式。这种方式在任务效率上表现出色,因为有效的Prompt能够最大限度地激发模型的最佳性能。之前我们已分享过,Prompt技术是模型效果优化的两条重要路径之一(微调和RAG技术)的共同基础。OpenAI官网也提供了关于优化Prompt的教程,大家可以进一步了解。

从更深层次来看,Prompt更像是一个引导模型展现其内部优秀性能的指南。当模型基于大量数据进行学习时,它会总结出许多in-context-learning的内部规律。一个好的Prompt能够激发这些正确的规则,从而引导模型展现出更好的性能。

在交互方式上,Prompt技术使得大语言模型与人类之间的交互变得极为友好。它就像人与人之间的对话,你说一句,AI回应一句,简单直接,无需对模型进行复杂的权重更新或处理。这种交互方式使得人们能够更自然地与AI进行沟通和交流。

03 检索增强生成(RAG)

RAG(Retrieval-Augmented Generation)技术是一种结合检索与生成能力的知识增强方案,专门用于应对复杂多变的信息查询和生成挑战。在当前大模型时代的背景下,RAG技术巧妙地集成了外部数据源,如本地知识库或企业信息库,为AI大模型赋予了更加强大的检索和生成能力。通过这种方法,RAG技术显著提升了信息查询和生成的品质,使得AI系统能够更准确地理解和回应用户的需求。

RAG技术的核心在于结合先进的向量数据库与大模型的智能问答能力。知识库信息存储在向量数据库中,系统能迅速检索相关片段。这些片段与大模型智慧结合,产生精确全面的回答。此技术极大提高AI处理复杂问题的准确性和响应速度,为用户带来优质高效体验。

总之,RAG 技术就是给大语言模型新知识。

04 函数调用(Fuction Calling)

大模型要实现精确的函数调用(Function Calling)需要理解能力和逻辑能力,理解能力就是对用户的Prompt提示词能够识别意图,然后通过逻辑能力给出需要调用执行的函数,具体流程如下:

1、大模型何时会调用函数 API?

调用函数API 在交互形式上有两种方式:第一是让用户直接选择调用函数,第二是大模型会推理判断要调用的函数 API。

2、大模型怎么Function Calling调用函数 API ?

首先把函数API的元信息(函数名称、函数描述、函数参数等)注册给大模型,让大模型学习函数集合,当用户查询时,大模型根据用户的Prompt提示词选择对应的函数API。

3、函数API谁来具体执行?

大模型根据用户的Prompt请求确定具体的函数API后,由 Agent负责具体的执行。

4、函数API返回的内容咋处理?

Agent把Function Calling函数 API 调用返回的结果返回给大模型,大模型进一步加工处理后返回给用户最终结果。

05 智能体(Agent)

在AI大模型时代,任何具备独立思考能力并能与环境进行交互的实体,都可以被抽象地描述为智能体(Agent)。这个英文词汇在AI领域被普遍采纳,用以指代那些能够自主活动的软件或硬件实体。在国内,我们习惯将其译为“智能体”,尽管过去也曾出现过“代理”、“代理者”或“智能主体”等译法。

智能体构建在大语言模型的推理能力基础上,对大语言模型的 Planning规划的方案使用工具执行(Action) ,并对执行的过程进行观测(Observation),保证任务的落地执行。

举个例子来方便理解

想象一个机器人管家。这个机器人能够理解你的指令,比如“请打扫客厅”,并且能够执行这个任务。机器人管家就是一个agent,它能够自主地感知环境(比如识别哪些地方是客厅),做出决策(比如决定打扫的顺序和方法),并执行任务(比如使用吸尘器打扫)。在这个比喻中,机器人管家是一个能够自主行动和做出复杂决策的实体。

总之,Agent 智能体 = 大语言模型的推理能力 + 使用工具行动的能力。

06 知识库

对企业而言,构建符合业务需求的知识库至关重要。利用RAG、微调等技术,可将通用大模型转变为深度理解特定行业的“行业专家”,服务于企业具体需求。这类知识库适用于多行业,如市场调研、人力资源、项目管理等。

其技术架构分两部分:

一是离线的知识数据向量化,包括加载数据/知识库、拆分文本、Embedding向量化处理,最后将向量化的数据块存储于VectorDB,以便于搜索。

二是在线的知识检索返回

检索:使用检索器从存储中检索与用户输入相关的Chunk。

生成:结合问题和检索到的知识提示词,利用大语言模型生成答案。

总之,知识库是 AI 大模型应用的知识基础。

07 向量数据库

向量数据库专注于存储和查询文本的向量化表示,源自文本、语音、图像等数据。相比传统数据库,它更擅长处理非结构化数据如文本、图像和音频。在处理机器学习、深度学习中的向量数据时,其高效存储、索引和搜索高维数据点的能力尤为突出,适用于数值特征、文本或图像嵌入等复杂数据的处理。

总之,知识库的存储载体往往是向量数据库,另外在数据存储和检索上,向量数据库以向量空间模型高效存储和检索高维数据,为 AI 大模型和 Agent 智能体提供强有力的数据支持。

08 知识图谱

知识图谱是基于实体和关系的图结构数据库,用于表示和管理知识。它采用结构化数据模型存储、管理并显示人类语言知识,通过语义抽取建立实体间的关系形成树状结构。实体如人、地点、组织等具有属性和关系,这些关系连接不同实体。知识图谱揭示知识领域动态发展规律,为学科研究提供参考。在医疗领域,知识图谱支持临床诊疗、数据整合与利用,通过实体识别、关系抽取和数据集训练,以图谱形式展示关键节点和联系,支持精准医疗决策。

与此同时,在智能推荐、自然语言处理、机器学习等领域也具有广泛的应用。尤其在搜索引擎领域,它能够提高搜索的准确性,为用户提供更加精准的搜索结果。

总之,知识图谱本质上是一种叫作语义网络的知识库,即一个具有有向图结构的知识库,其中图的结点代表实体或者概念,而图的边代表实体/概念之间的各种语义关系

09 AGI

AGI作为AI发展的终极愿景,旨在实现智能系统像人类一样理解和处理复杂情况与任务的能力。在此过程中,AI大模型、Prompt Engineering、Agent智能体、知识库、向量数据库、RAG及知识图谱等技术至关重要。这些技术元素相互协作,推动AI技术持续发展,为实现AGI目标奠定坚实基础。

与目前常见的“窄人工智能”(ANI,Artificial Narrow Intelligence)不同,AGI能够处理多种不同的问题,而不仅仅是针对特定任务设计的算法。窄人工智能通常在特定领域内表现出色,例如语音识别、图像识别或棋类游戏等,但它们缺乏跨领域的通用性和适应性。

AGI的关键特征包括:

  • 自主学习:AGI能够从经验中学习,并不断改进自己的性能。

  • 跨领域能力:AGI能够处理多种不同类型的问题,而不仅仅是单一领域。

  • 理解复杂概念:AGI能够理解和处理抽象概念、隐喻和复杂逻辑。

  • 自我意识:虽然这一点在学术界有争议,但一些观点认为AGI可能发展出某种形式的自我意识或自我反思能力。

如何学习AI大模型?

作为一名热心肠的互联网老兵,我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

一、全套AGI大模型学习路线

AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!

img

二、640套AI大模型报告合集

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

四、AI大模型商业化落地方案

img

作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。

  • 6
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值