垂直领域中建立AI大模型应用的项目策略

最新推荐文章于 2024-08-26 11:21:54 发布

Python程序员罗宾

最新推荐文章于 2024-08-26 11:21:54 发布

阅读量754

点赞数 17

文章标签：人工智能金融深度学习机器学习学习

本文链接：https://blog.csdn.net/aolan123/article/details/139600047

版权

“AI大模型”

如何在各个垂直领域中运用新兴的AI大模型技术来提升生产力，是当下的热门话题。在此首先要明确一下“AI大模型”的含义。

在许多行业的应用领域当中，基于深度学习方法的AI大模型早已开始应用。AI大模型应该同时包含通用的和专用的、决策式和生成式、面向语言的和非语言的，等等。其实，除此以外，基于规则推导的专家系统类也属于AI，因其高效、可解释也很有用武之地，不是本文重点后续就不再单独提及了。

两种不同的建设方式

模型是对现实世界的抽象，算法是模型的实现方式。

通用大模型是对普遍知识的抽象，如果垂直领域的知识模型可以完全由通用大模型支撑，那么基于通用大模型构建领域应用是完全可行的，此时的算法可以被看做是行业应用中的公共基础软件。采用通用大模型+微调的方式，应该可以得到适合领域特征的应用。

如果垂直领域存在不通用的知识，垂直领域中的知识具有特殊性，不能完全由通用大模型来表达，那么就需要有更专业的模型对领域中专业知识进行抽象，垂直领域中的knowhow需要有针对性的算法，此时的算法也就必须有相应的独特性，其向量空间就需要满足专业知识的要求，要与领域专业知识模型紧密结合，从而直接决定了应用的表现，这样就需要在应用系统建设中采用重构大模型的方式，而不是“微调”所能解决的。

此时，通用大模型+微调的方式未必适用于垂直应用领域，算法的调整实际就是改变了模型，可能会导致全部参数的重新计算，所以在模型构建之初就需要确定其针对的领域知识的特征。

两种不同的实现方式，决定了基本的项目实施策略的不同。

垂直领域AI应用建设的一些要求

能解决问题的方案才是好方案。站在应用方的角度来说，垂直领域AI应用都应该在有效解决问题提升效率的同时，还具有很好的ROI，例如：满足应用场景的需要，具体精确性和可解释性、能满足独特算法和知识的需要、符合私有化知识保护的要求、训练推理成本相对较低等。

因此，构建垂直领域AI应用的技术策略，未必都要是通用大模型，可能是更需要具有针对性的模型应用。特别是在工业制造领域，要在自动化的基础上进行智能化升级，专用的大模型、决策式大模型，能满足企业个性化需求的，符合单个企业ROI要求的，都可能会有广泛的应用机会。

另外一个重要影响因素，就是还需要与已有的领域专业数据库相结合，通常被称为RAG。企业中已经积累的各类结构化数据都是经过精确标注的数据，其准确性和可解释性是大模型中的Token所无法比拟的，所以最好以大模型的外部知识库的方式加以有效利用，而非都作为Token训练到大模型当中。

也就是说，垂直领域中如何运用AI大模型，需要从问题、需求出发，考虑整体解决方案，然后才是根据解决方案的需要，选择最为有利的方式引入适合的大模型，既能够解决实际问题，又能够满足ROI的要求。

项目组角色的组成

不论采用通用大模型+微调方式，还是根据垂直领域特征重新构建大模型应用的方式，垂直领域大模型应用建设项目，都需要这些角色的参与：

领域专家：负责抽象定义出垂直领域的模型；
AI算法专家：负责根据模型的需要设计开发相应的算法；
数据专家：负责根据模型算法的需要，识别、收集和运用训练数据。建立数据治理体系并建立数据加工处理流程以得到高质量的训练数据，并持续利用这些数据进行模型训练和模型优化；
算力提供者：负责提供算力的私有部署或提供公有的算力服务；
原有数据库的业务与技术支持人员：负责根据整体解决方案的需要，提供原有数据库/知识库在数据内容和技术访问等方面的RAG对接支持。
软硬件技术人员：负责按照解决方案的要求，通过应用开发、系统集成等工作，建立起完整可用的AI大模型应用系统。
项目管理人员：负责项目管理。AI大模型应用建设项目，由于其技术特性、工程方法、资源要求等方面，与传统信息化项目存在着显著的差异，所以对项目管理人员也提出了新的要求。

ROI始终是很多机构是否引入AI大模型的重要考量因素。鉴于当前AI的技术门槛比较高，相关资源还比较稀缺，两大类资源会在成本结构中占较大比例，对项目组的组成也会产生影响。在专业化的人力资源方面，在垂直领域大模型应用过程中，更需要熟悉AI大模型技术的厂商与实际应用领域客户的紧密合作，除非应用方自身能够具备足够的技术能力可以进行自主研发（特别是当算法反映自身knowhow时，是否更应该拥有自己的算法工程师）。在算力资源方面，也同样可以考虑，如何在保护自身独有的知识、数据的前提下，采取租用外部算力资源的方式降低成本。

对自身知识的归纳总结和自有数据的加工处理，也是垂直领域AI大模型应用得以成功的关键前提。打破信息孤岛、数据电子化、建立全局数据视图和数据标准、通过清洗加工标注等方式提高数据质量、协调大模型与外部知识库的配合等，要保证提供高质量的数据，保证在整个系统中数据流的畅通，这些都需要客户方自身的努力，不排除有可能在这一类项目当中，还要从最基础的信息化工作做起，才能具备数字化转型和智能化改造的条件。

读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用

对于0基础小白入门：