关于大模型在产品开发中所面临的问题:AIGC、Agent、知识库

具体问题具体分析,大模型技术没有统一的解决方案

有人说2024年是大模型应用的元年,而大模型在未来的发展潜力毋庸置疑,这也就意味着人工智能技术是下一个风口,因此各种各样基于大模型技术的创业公司如雨后春笋般涌现。

从应用的角度来说,大模型的主要应用有以下几个方向Agent,AIGC,聊天机器人等,严格来说聊天机器人应该属于基于大模型知识库的问答系统。

而随着多模态大模型的出现,大模型的应用场景变得更加丰富与强大,但这并不意味着基于大模型的产品就完美无缺,反而是问题多多。

大模型应用在不同方向所面临的问题

下面从应用的角度介绍一下大模型在各个应用方向上所面临的问题——AIGC, Agent,聊天机器人(知识库)

1、AIGC

AIGC是大模型应用的主要方向之一,所谓的AIGC就是AI生成内容,在AIGC之前还有PGC——专业生成内容和UGC——用户生成内容。

简单来说就是利用生成式AI的能力来生成文字,图像和视频等,替代或辅助人类进行创作。

当然,文字,图像,视频等只是AIGC应用的一个方向,其它还包括文档总结,视频总结,PPT,WORD处理,文生图,语音处理,数字人,人物仿真等多个细分方向。

在这里插入图片描述

但对大部分创业公司来说,他们无力承担开发训练和微调模型的成本,因此他们只能选择第三方大模型来构建业务系统。但问题是,第三方模型虽然经过大量的数据训练,但其在具体领域并没有进行特定的微调或训练,因此它生成的内容质量就成了一个很大的问题。

举例来说,某公司正在做一个文生图或视频的AIGC工具,使用的是第三方大模型。这个模型经过大量的数据训练,并且经过精心的微调,在大部分场景之下表现的都不错。

但问题是,如果应用到某些细分领域内,比如说现如今传统文化兴起,大量自媒体创作者使用AI生成一些古风的视频;可能这个大模型能够满足这种大众化的需求,但如果你的需求是生成一个小蝌蚪找妈妈的视频可能就没那么好了。

原因是什么?

大模型就像一个人,每个人都有其擅长的领域,比如齐白石擅长画虾,徐悲鸿擅长画马,虽然他们都是从事的绘画领域,但每个人擅长的点不一样,大模型也是如此。

在这里插入图片描述

因此,不论是在文本,图像,视频亦或者在其它AIGC领域,通用大模型都很难有良好的表现。

而如果想让大模型在某个方面表现的更好,那么就需要对大模型进行针对性训练,也就是微调;亦或者根据不同的场景开发一款新的大模型。

但这对很多公司是不现实的,不论是从成本上,还是从技术上,都很难做到。

想要解决这种问题,应该怎么办?

最好的方式就是把自己的业务限定在某个领域下的某个或某几个场景,而不是到处撒网,什么都想做。


2、Agent

智能体可以说是大模型技术的又一个主要应用方向,其主要技术就是通过大模型的自主规划能力,去自己分析问题,规划方案,然后调用外部工具完成任务。

举个例子,你是一个导游,你每天都需要发展新的游客,设计旅行方案,预订景点门票,住宿,饮食等。

如果使用Agent,你只需要告诉大模型我要做什么,大模型就能够帮你自动完成。比如让大模型帮你制定一份发展新游客,以及设计不同的旅行方案,同时还要考虑天气,路线等问题;并且,能够根据每个路线中的地点,制定详细的行程,以及安排好住宿与饮食等问题。

这就是Agent的作用,通过大模型自身的规划能力,通过提示词和思维链等技术,来自动分析问题,并解决问题。

但目前来说Agent技术还不够成熟,原因就是大模型的推理与分析能力还不够强大;比如你让它帮你制定一份旅行计划,它制定的计划,可能是早上还在成都看熊猫,下午就要直接去云南看洱海,晚上住在北京王府井。

而正常的形成应该是早上去熊猫基地看熊猫,中午在附近吃点饭,下午回到市区,晚上逛一下锦里和宽窄巷子,然后住在武侯祠附近的酒店,这才是一个有可能完成的旅行计划。

目前Agent的发展趋势主要是,通过大模型的推理能力,以及外部工具,使用工作流的方式把它们整合成一个能够完成特定任务的Agent;然后使用多个不同功能的Agent来共同完成一个更加复杂的任务。

比如说字节的coze 扣子Agent平台。

因此,对Agent的应用来说,提升大模型的推理和规划能力才是重中之重,如果无法解决这个问题,那么Agent就很难能够发展。


3、知识库

知识库技术,严格来说即属于大模型的一个应用方向,也属于对大模型能力缺陷的一种补偿。

我们知道,大模型天生就知识短缺,因为它不会主动学习,因为它的知识永远都停止在之前的某一个节点,除非你对它重新进行训练或微调,否则大模型就一直是什么样。

还有一点就是,大模型的训练数据是有限的,其次就是过多的数据可能会导致过拟合问题;因此,大模型在某些领域表现并不怎么好,而这也是知识短缺的一种体现。

因此,知识库的作用就出现了,知识库是对大模型知识短缺的一个补偿;通过构建一个外部知识库,让大模型每次回答问题之前,都先去知识库里查询一下相关的资料,这样就能够做到有的放矢了。

而且,大模型一个非常严重的问题——幻觉问题,也可以通过知识库的方式得到优化,减缓幻觉出现的概率。虽然,幻觉问题不知道是否能够真正解决。

而知识库同样面临着很多问题,知识库的难点主要不在大模型,而是在知识库的建设。

比如说,大量的资料数据怎么存储,存储完成之后怎么检索,怎么提升检索的效率与准确度;不同格式的资料数据怎么统一处理,怎么加载,怎么分析等等。

比如说,四大名著之《西游记》作为一本名著,如果把它加入到知识库中,然后用户想询问一些关于孙悟空的问题;怎么才能从《西游记》这本书中检索出相关性最高的内容。

比如说,孙猴子,孙悟空,齐天大圣,弼马温,泼猴,老孙等等都是和孙悟空相关的内容;那么用户输入其中的一种或几种,知识库是否能检索出相关度最高的内容。比如说是打白骨精,还是当弼马温,或者女儿国等等。

这就是知识库所技术所面临的问题,也是RAG(检索增强生成)技术需要考虑解决的问题。

基于人工智能大模型开发的聊天机器人,感兴趣的可以点击查看:

总之,大模型的应用还处于探索阶段,大家都是摸着石头过河,而且在不同的应用领域所面临的问题还不一样;比如说AIGC领域主要是提高大模型的输出内容,解决方案就是训练和微调;而Agent领域需要解决的是大模型的推理和规划能力;而知识库系统需要解决的却是知识的存储与检索问题。

而无论个人或企业最多能做好其中的一点或两点,很难有人能同时解决这三个问题。

这就是大模型的应用,以及所面临的问题和解决方案。


如何学习大模型?

学习AI大模型是一个系统的过程,需要从基础开始,逐步深入到更高级的技术。

这里给大家精心整理了一份全面的AI大模型学习资源,包括:AI大模型全套学习路线图(从入门到实战)、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等,资料免费分享!

1. 成长路线图&学习规划

要学习一门新的技术,作为新手一定要先学习成长路线图方向不对,努力白费

这里,我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。可以说是最科学最系统的学习成长路线。
在这里插入图片描述

2. 大模型经典PDF书籍

书籍和学习文档资料是学习大模型过程中必不可少的,我们精选了一系列深入探讨大模型技术的书籍和学习文档,它们由领域内的顶尖专家撰写,内容全面、深入、详尽,为你学习大模型提供坚实的理论基础(书籍含电子版PDF)

在这里插入图片描述

3. 大模型视频教程

对于很多自学或者没有基础的同学来说,书籍这些纯文字类的学习教材会觉得比较晦涩难以理解,因此,我们提供了丰富的大模型视频教程,以动态、形象的方式展示技术概念,帮助你更快、更轻松地掌握核心知识

在这里插入图片描述

4. 大模型项目实战

学以致用 ,当你的理论知识积累到一定程度,就需要通过项目实战,在实际操作中检验和巩固你所学到的知识,同时为你找工作和职业发展打下坚实的基础。

在这里插入图片描述

5. 大模型面试题

面试不仅是技术的较量,更需要充分的准备。

在你已经掌握了大模型技术之后,就需要开始准备面试,我们将提供精心整理的大模型面试题库,涵盖当前面试中可能遇到的各种技术问题,让你在面试中游刃有余。

在这里插入图片描述

全套的AI大模型学习资源已经整理打包,有需要的小伙伴可以微信扫描下方CSDN官方认证二维码,免费领取【保证100%免费

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值