前段时间,在OpenKG分享了我们在知识图谱结合大模型的技术及医药行业落地应用,[“大模型+知识图谱”双轮驱动的医药数智化转型新范式-OpenKG TOC专家谈],关注度很高。本篇编译分享关于大模型和知识图谱、本体的一场讨论。
本体是知识的形式化表示。它们由特定领域内的概念、类别及其之间的关系组成。本体旨在以结构化的形式建模领域知识。它们使机器和人类能够理解、共享和重用这些知识。在生物医学领域,一个著名的本体示例是基因本体,它提供了一套全面的术语和关系来描述任何生物体中基因和蛋白质的功能。
LLMS基于大模型的本体与知识表示
本体在知识表示领域中发挥着至关重要的作用。它们通过定义特定领域内概念之间的关系,提供了知识的结构化和形式化表示。这种结构化的方法使计算机能够以逻辑、一致和可理解的方式理解、推理和处理信息。然而,本体的设计和维护需要大量的精力。
在大语言模型(LLM)出现之前,本体被认为是语义理解的巅峰。它们是机器理解各种领域语义的主要方法。尽管本体具有实用性,但它们也显示出局限性,相对缺乏灵活性、不完整,并且适应新信息的速度较慢。
大语言模型的出现为知识表示和处理领域引入了一个新的维度。大语言模型凭借其在大量数据集上训练的庞大神经网络,展示了前所未有的理解、生成和操作语言的能力。这种能力为以往无法想象的方式增强和扩展本体打开了可能性。
大语言模型与本体的融合创造了一种强大的协同效应,充分利用了两者的优势,以实现更卓越的语义理解和知识处理。
LLM可以帮助生成和扩展本体,使这一过程变得更加快速和灵活。这一能力是一个游戏改变者,因为它减少了更新和维护本体所需的人工工作量。
然而,涉及“人类环节”的参与仍然至关重要,以监督和引导这一过程,确保生成内容的准确性和相关性。顶尖的LLM在这一角色中展现出了惊人的有效性,证明了它们有潜力彻底改变本体的开发和维护方式。
本体反过来为提供给LLM的提示提供了重要的上下文。这一上下文丰富了LLM回应的准确性和相关性,使其更符合特定领域的语义。此外,本体可以用于验证LLM生成的回应的一致性,确保所产生的信息是连贯的且逻辑结构合理。
大型语言模型与本体论之间的协作建立了一种连续改进的加强反馈循环。随着大型语言模型帮助更快速和动态地生成更好的本体论,改进后的本体论反过来又提升了大型语言模型的性能。
这种协同效应为LLMs分析的数据和文本提供了更全面的背景,增强了它们的理解和处理能力。这种正反馈循环有潜力催化组织内AI应用能力的指数跃升。它可以以空前的方式简化流程、增加智能,并提升客户体验。
LLMs与本体的集成代表了人工智能和知识管理领域的重大进步。它将LLMs动态灵活的语言理解能力与本体的结构化和形式化知识表示相结合。这种伙伴关系不仅加速了本体的开发和维护,还增强了AI系统的语义理解和推理能力。随着这种协作方法的不断发展,它有望为AI应用解锁新的可能性,使其在满足组织及其客户需求方面更加智能、高效和响应迅速。
AI中的本体
本体在人工智能中发挥着至关重要的作用。它们提供了一个组织信息的结构化框架。这使得人工智能系统能够理解和解释不同概念之间复杂的关系。本体本质上是一种定义特定领域中实体类型及其之间关系的方法。
一个人工智能中的本体包括一组概念、类别和属性。这些元素有助于知识的表示。例如,在医学本体中,概念可能包括疾病、症状和治疗。类别可以区分感染性疾病和遗传性疾病。属性可能描述疾病与其症状之间的关系。
本体在人工智能中的主要用途之一是实现语义互操作性。这是不同系统以相同方式理解和解释数据的能力。例如,如果两个医疗系统使用相同的本体,它们可以无歧义地共享和理解彼此的数据。在医疗等领域,这一点尤其重要,因为信息的准确交换可能至关重要。
本体在自然语言处理(NLP)中也发挥着关键作用。它们有助于理解句子中单词的上下文和含义。例如,“银行”一词可以指代金融机构或河岸。本体可以帮助人工智能系统根据对话的上下文确定正确的含义。
在机器学习领域,本体可以增强学习过程。它们提供了一个结构化的知识库,机器学习模型可以利用该知识库更好地理解数据。这可以导致更准确和高效的学习结果。例如,基于具有基础本体的数据集训练的人工智能模型可以更轻松地对新的、未见过的数据进行分类。
本体的开发需要对领域有深入的理解。这涉及识别关键概念及其关系。这个过程通常是协作的,涉及领域专家和知识工程师。最终的结果是可以被人工智能系统使用的知识的正式表示。
用大模型创建本体
定义领域和范围:构建本体的第一步是清晰地定义领域和范围。这涉及识别主题内容,设定边界,并确定本体的目的。明确本体的预期用途和希望回答的问题至关重要。这一阶段还包括概述要建模的概念、关系和知识类型,并决定是一般化还是专业化的程度。
收集信息来源:下一步是识别和汇编相关的信息来源。这些信息来源可以包括文档、数据文件、数据库、网站和领域专家的见解。将与该领域相关的全面文本内容编纂成语料库。与利益相关者进行沟通是收集示例、术语和需求的重要环节。现有的标准、分类法和竞争性本体可以提供灵感和见解。
提取概念和关系:在信息来源汇编完成后,LLM被提示分析内容。这一分析旨在提取重要的术语、实体类型、关系、属性、层级和关联。LLM可能会建议可能缺少的额外相关概念。基于这些见解,创建了一个初步粗略的分类法。
组织分类层级:利用模型的输出,将概念分类为一个连贯的层次结构。这涉及根据它们的相似性将概念从一般到具体进行结构化,并定义更广泛和更狭义术语之间的父子关系。根据需要对模型的分类进行修正,以确保准确性。
定义附加属性:本体通过识别实体类型的属性、特征和特性来扩展。这包括指定数据属性、元属性和限制。定义表示实体类型之间关系的对象属性,包括关联属性、对称属性、传递属性或逆属性。模型可能会建议添加其他属性
编码本体:选择标准本体语言如OWL、RDF或OBO进行本体编码。概念本体在模型的帮助下被翻译为正式编码。这涉及在代码中指定类、个体、属性、关系和限制,以及定义逻辑公理和推理规则
迭代优化:本体根据能力问题和要求进行评估。识别出差距、不一致和冗余,并提示模型建议改进和补充。这一迭代优化过程持续进行,直到本体提供满意的覆盖范围
填充本体:为每个类实例化代表性个体。该模型可以协助生成样本个体。个体通过定义的属性链接,确保逻辑一致性。
正式评估和专家评审:使用如Pellet、HermiT或FaCT++的推理器评估逻辑一致性。本体与领域专家一同审核以确保准确性和完整性。根据专家反馈进行修订,评估重复进行直到达到满意的结果。
全面文档记录:生成全面的文档,解释本体的各个组成部分、设计依据和来源。每个类别、属性和关系都有详细说明,并附有可读的人类描述。对本体的能力、局限性和使用指南进行了记录。
与大型语言模型(LLM)一起创建本体是一个将手动和自动步骤结合起来的详细过程。最终产品是一个决策工具,利用本体和LLM的能力,创建出能够适应和有效的人工智能系统。
本体和知识图谱
知识图谱是在知识表示方面更进一步的步骤。它们不仅包括本体中找到的结构化概念和关系,还包含这些概念的实例。
知识图谱是由实体、它们的属性和它们之间的关系组成的大型网络。它们是动态的,允许不断添加新信息。谷歌的知识图谱就是一个典型例子,通过来自各种来源的信息增强其搜索引擎的结果,这些信息以突出实体之间关系的方式进行结构化。
本体论和知识图谱之间的区别在于它们的范围和应用。
-
本体论更多关注于某一领域内知识的正式、通常是抽象的表示,专注于概念之间的关系。
-
知识图谱则更加广泛,不仅包含这些关系,还包括概念的现实实例,使其在增强搜索引擎或支持推荐系统等实际应用中更加有效。
本体论和知识图谱的应用广泛且多样。
-
在医疗保健领域,本体论有助于组织医疗知识,促进不同健康系统之间的语义互操作性。
-
知识图谱则用于提升用户在网络上的体验,通过搜索引擎、社交网络和电子商务网站等服务,为用户提供相关、关联的信息,从而改善搜索结果和推荐的质量。
本体论和知识图谱的重要性不容低估。
-
它们对于语义网至关重要,语义网是万维网的扩展,允许数据在应用、企业和社区之间共享和重用。
-
它们在人工智能中发挥着关键作用,尤其是在自然语言处理领域,理解词语之间的上下文和关系至关重要。
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。