AI大模型和知识层-为何知识模块成为AI深入企业应用实践中最关键的一个环节?

1 什么是知识和知识管理?

img

什么是知识?

根据当代辞海的定义,知识是人们在社会实践中积累起来的经验

而柏拉图提到知识是经过证实的正确的认识。所有知识都是来自于个人的经验,因此知识仅仅是相对于个人而言的,没有绝对意义的知识。到了现代德鲁克则提出知识是一种能够改变某些人或某些事物的信息,并进一步谈到所有脑力劳动者都是知识工作者,他们的核心竞争力就是知识。

所以对于知识我们可以简单理解为经过人的思维整理过的信息、数据、形象、意象、价值标准以及社会的其他符号化产物

或者将简单理解就是人类通过自己身体的感知系统获取信息,但是信息不是知识,信息只有通过抽象,加工,整理后形成的形式化表达才是知识。也就是人在从信息到知识的形成中起到了关键作用。

img

从广义的角度,知识应该覆盖上面知识金字塔所有内容。从狭义来讲知识即是人类抽象加工后形成的有用的信息,我们用于知识的过程最终形成个人技能,我们对大量技能的进一步复盘和反思形成方法论和经验模式。而方法论和模式成为了诞生智慧的关键。

信息或数据=》知识抽象(人)-》知识应用(人)-》智慧

我为何强调上面这个这个阶段演进公式?

因为知识是衔接信息和智慧的一个关键,信息需要经过抽象加工形成知识,知识需要结合常见应用最终才能够转变为智慧。

而知识的抽象加工和生成,知识的应用都脱离不了人。人在将信息转化为智慧的过程中起到了关键作用。那么到了AI大模型阶段,对于知识的加工生成,知识的应用出现了颠覆,即AI可以来完成而不是一定要借助人才能够完成。AI大模型本身不是智能,是AI加工产生知识并应用才是智能。

2 传统的BI商业智能

img

对于智能化大家一定要注意不是到了数字化阶段或当前AI大模型阶段才有智能化。在早期信息化建设过程中也有BI商业智能,通过数据辅助分析和决策。因此我在谈数字化三大要素的时候谈到数据+连接+智能。

即业务通过连接完成协同并产生数据,数据一开始仅仅是支撑和辅助业务,在数据积累到一定量后,数据可以衍生智能化的能力。

注意原来的三大要素或发展阶段,我没有谈知识,知识是一个隐藏在里面的概念。在BI阶段智能最大的特点是这不是一种自主自发的智能,而是人类通过大量实践将形成的知识经验提前预置到系统里面,形成了基于规则的分析,预测和决策能力。

也就是将信息或数据加工为经验置入到系统仍然是人来完成。所以我们仍然要分析作为主体的人在整个业务,数据,智能三者之间循环转换和持续迭代所起到的关键作用,如下图:

img

从上图可以看到,对于传统的智能,人在里面仍然起到关键的作用,即完成知识的筛选和识别,知识的加工,从知识到经验和规则的转换。也就是说在人形成了经验后,将经验转换为机器能够理解的算法或规则提前预置到IT系统里面,让系统具备了智能化的能力

也正是这个原因,我们没有将知识单独拧出来,作为一个独立的阶段或分层,放入到我们整体的IT架构规划中。当然,在信息化阶段也有有独立的KMS等知识管理系统,如下:

img

但是知识系统仍然是辅助人来进行知识管理,而不是知识生成,而且知识管理类系统更多的是处理非结构化数据和文档,并且往往不直接参与对企业业务运作的支撑。

数字化和数据驱动

在信息化阶段对数据的使用往往两个方面。其一是单个业务系统往往有简单的查询和统计功能需要使用到数据,或者数据要作为下游的一个输入。其二就是在BI分析类应用中,需要采集集成数据,进行数据分层建模,构建维度模型,并支撑上层的多维度决策分析。

在这里就出现一个关键问题,即:

数据是业务沉淀下来的,沉淀的数据更多是支撑了上层的决策,而不是数据支撑了业务运作或者协助业务系统流程绩效的提升。这也是我们常说的,IT系统日常运作流程形成了数据,数据支撑了决策。而不会谈数据业务化或者数据反哺业务方面的问题。

因此数字化阶段更加强调数据驱动业务,构建数据到决策的全链路打通。当时我重新画了一个图来说明如下:

图片

数据驱动这条线也应该是从底朝上纵向贯通的,而且也存在和业务和应用的V模型匹配,形成了横向+纵向的双向贯通。

  • 业务能力组件阶段-》解决基础的数据治理问题
  • 业务服务和能力开放-》解决数据采集集成和共享
  • 价值流-》解决数据驱动业务运作关键问题
  • 战略业务目标-》解决数据支撑决策(传统BI+AI+大数据)

但是不管是信息化还是数字化,不管是数据驱动决策还是数据驱动业务,这里面都隐含了关键的知识经验,这个知识经验形成规则和算法已经预置到了我们的IT系统里面。这个经验是人来产生和制定的。也就是在AI和大模型没有出来和普及前,我们的智能更多是:持续产生的数据+预置知识(算法+规则)-》智能-》人决策分析后进一步修订知识模块持续改进。

到了这里大家是否明白?

在传统信息化和数字化阶段,知识的产生,加工处理,经验规则提取等很多过程是游离在IT系统之外的,IT系统真正管理的只有最终形成的规则和算法。整个规则算法的形成靠的是人的经验和推理能力,当然这个经验推理我们仍然要采用IT系统建设中形成的业务数据。

3 AI大模型落地企业-知识层级

前面已经明确阐述了在AIGC和大模型没有出来前,虽然也有智能,但是这个智能更多的是依靠作为主体的人预设经验规则来完成的。你的数据虽然可以随着业务系统的使用不断丰富,但是知识经验不会,IT系统不具备凭空产生知识经验的能力。

而随着AI大模型的出现,解决了一个关键问题。即基于已有的信息和数据,AI机器可以自己来产生新的知识,基于AI产生的多个知识,AI还可以自己完成知识的加工整理,经验的提取形成智能化能力。最后对于这个智能化能力的使用,AI和传统IT系统结合,或者和AI智能体应用结合也可以自动来完成,这样就形成了一个不需要人参与的完整闭环和持续进化。大家再来看上图变化为下图:

img

也就是说整个持续迭代过程逐步不需要人参与,AI大模型的算法的核心目的就是基于已有知识和数据形成新的知识,并且通过Agent去应用知识持续迭代。

大模型本身不是智能,智能是结果而不是过程。我们看到的智能恰好就是AI大模型基于已有的信息数据,进行知识整理,加工,深度思考,推理,内容生成知识和经验的过程。

而所有的内容都需要在知识层来完成。一个企业你的AI大模型应用的如何,不仅仅是你选择的通用大模型能力水平,也不仅仅是你企业本身积累的信息和数据,更加重要的就是知识层,你对知识的加工和处理,基于复杂问题常见进行深度思考和推理的能力。这个细分不同的企业,不同的行业,不同的专业方向往往都有所不同。

企业在深度应用AI的时候,怎么样去建设好这个抽象的知识层,将已有的经验模式抽象为相应的规则或模型参数融入到大模型里面,才是最关键的内容。这也是我为何说大模型应用一定需要行业业务专家的原因。

所以我一直在强调,我们的IT整体架构应该增加的不是AI中台层,而是AI技术中台+知识中台融合层。AI技术中台仅仅是骨头,核心的经验提取和融入是在知识中台来完成的。

img

参考我在网上找到的一个图,现在进一步强调知识中台的概念,在原有的数据中台或数据湖上层应该构建知识中台,而知识中台核心是知识图谱和知识推理能力。企业垂直场景下的AI智能体应该基于知识中台能力展开。典型企业内部用的好的类似智能客服这种场景,供应链智能大部分实际和生成式AI没有关系。

没有知识中台去构建AI应用,那么只能起到检索库的作用,无法进一步发挥数据价值。全面走预训练+微调大部分企业又玩不起,前期成本和人员投入巨大(这也是AI重要的一个发展点,即预处理,数据标注进一步的自动化,智能化完成,而不需要投入大量的人力来完成)。当前可行思路仍然是RAG+微调结合。如何降低微调工作量,简单来说就是场景足够细分,一个AI智能体只解决足够细分下一个场景问题。类似基于需求文档编写自动化编写测试用例就是一个足够细分场景。

也正是这个原因,前面我在阅读新的国标数字化转型参考架构的时候,里面谈到了发展阶段和成熟度模型,专门提到了知识阶段。这个知识阶段在AI大模型阶段绝对是有必要的。

如果仅仅说一个技术平台的演进能够划分为一个独立阶段显然不合适。但是AI大模型下的知识这个阶段本质是对传统人参与模式的下智能化的一次深层次变革,是进一步通过AI大模型打通无人干预的信息数据->知识-》是能的关键阶段和分层。

数字化三要素连接,数据和智能。在数据到智能之间,应该增加一个知识赋能阶段。数据不直接跳跃到智能化,而是需要对数据进行加工处理,将我们的私有经验,发现的规律显性化融入到知识经验库里面,这个是朝智能化发展相当重要的一步。

包括在谈AI和大模型的时候,我也一直强调企业要应用人工智能一定是涉及到通用大模型+企业私有知识经验,两者缺一不可。企业的知识赋能做到越充分,越容易演进到智能自主这个阶段。

图片

结合上面这个图大家更加容易理解,知识赋能这个阶段的关键作用。企业基于已有的信息和数据,如何构建知识经验库是关键。

在知识赋能阶段也可以借助AI和人工智能,比如构建智能化知识库,但是这个更多的是辅助人进行决策和执行。而真正到了智能自主阶段,知识推理也是AI完成的,知识应用解决业务场景问题也是AI完成的。也就是AI完全可以完成从信息-数据-知识-智能-应用的完整端到端闭环。

包括前面我在讲AI通用智能体也在谈这个观点。随着通用大模型和企业私有知识经验库的结合,随着MCP协议生态的不断完善,出现各式各样的AI数字化员工绝非空谈,而是一定会逐步成为现实。

如何学习大模型 AI ?

由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。

但是具体到个人,只能说是:

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段(10天):初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么?
  • 大模型是怎样获得「智能」的?
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例:向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范

第二阶段(30天):高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示(Embeddings)
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署

第三阶段(30天):模型训练

恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。

到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2:手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建

第四阶段(20天):商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身:基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例:如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案

学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。

如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值