学习笔记:AI大模型常见话题十问十答(含资料分享)

最近在学习智算中心和AI大模型相关的市场分析报告,发现了很多不错的内容,今天我通过十问十答的方式和大家简单聊聊,AI大模型的常见话题,比如:AI大模型的定义和分类、我国AI大模型的备案数量以及TopN的行业等,附《2024年中国AI大模型产业发展与应用研究报告》和《2025年大模型应用落地白皮书:企业AI转型行动指南》资料分享哦!

一、AI大模型的定义和分类

AI大模型是指拥有亿级以上参数的深度学习模型(现在已发展到千亿、万亿的规模)通常在大量数据上进行训练,能够学习到丰富的知识表示和复杂的函数映射关系。目前AI大模型在自然语言处理、计算机视觉、语音识别等多个领域取得了显著的成果,是当前人工智能领域的研究热点。

AI大模型按照应用领域角度可分为:通用、行业、垂直大模型。按照输入数据类型又可以分为语言,视觉、多模态大模型等。其中多模态大模型(LMMs)是能够理解和处理各种输入形式包括各种“模态”,如图像、视频和音频,在医疗领域可以辅助医生进行病情分析。

二、我国AI大模型的数量和TopN的应用行业

我国AI大模型需要依照《生成式人工智能管理暂行办法》进行备案,截止到2024年11月,已有3批次共计309个大模型通过国家互联网信息办公室备案。从应用类型看,通用大模型占比28%,垂类大模型占比72%;

从应用的行业领域看,排名Top5的为互联网、金融、医疗、教育、工业领域,各自的占比如上图,在行业结构的占比中均超过10%。

下图是国内主流的AI大模型的全景图

三、AI大模型产业链情况-产业图谱

从应用场景维度主要包括:办公、营销、AIGC、客服、知识助手等;从平台工具的维度常见的有各类CSP和大模型公司的平台,另外按照通用还是垂直领域业有不同的产品分布,大模型的发展也离不开底层的基础设施(智算中心和IT设备等)和高质量的训练数据,具体总结如下

四、AI大模型应用落地的典型路径

大模型应用需求落地一般分为四个阶段:

1、场景需求评估:评估企业当前的大模型技术、应用场景和能力,做好大模型应用落地的准备,包括技术能力评估、应用场景梳理、能力分析等。

2、部署能力建设:设计和构建符合战略规划和业务需求的大模型能力体系,包括大模型建设方案设计、系统研发和功能测试、数据与算法准备等。

3、大模型应用部署:将大模型部署到具体的业务场景中,提供定制化的智能解决方案,实现大模型的商业化应用,包括定制化优化与应用开发、效能评估与闭环管理、全生命周期管理等。

4、大模型运营管理:建立大模型运营管理体系,保障大模型的长效运行,并通过实时监测和反馈机制提升运营效率,包括实时监测与动态追踪、持续优化与管理体系完善等。

按照大模型部署的复杂度可分为五个层面,具体总结如下图:

五、AI大模型应用市场规模和发展趋势如何

1、根据第一新声的报告显示,2024年公开的大模型中标项目超过1000个,整体应用市场规模将达到157亿,市场用户主要以定制化和API调用模式为主;大模型应用市场规模包括企业用户购买大模型产品、大模型服务、大模型应用服务和软硬一体化大模型应用平台形成的市场总量。

2、中国目前AI大模型商用主要通过三种通路,一是大模型厂商直接向终端用户提供模型产品和部署服务;二是大模型服务商通过系统集成商,将大模型产品以行业解决方案的形式提供给用户;三是大模型服务商通过API接口,通过企业级软件服务商或直接向用户提供服务。系统集成商和企业级软件服务商将成为AI大模型提升产业渗透的关键驱动方。

3、2024年,中国大模型产业新增GPU需求量超过190万张,算力投资达千亿规模,其中80%的新增算力用于头部互联网大模型训练和自有业务支撑,20%用于行业用户大模型能力建设和对外提供MaaS服务,2024年,服务商大模型业务收入,主要用于覆盖算力成本,尚未实现盈利,整体市场规模约157亿元,预计至2025年后将有部分大模型企业开始盈利。

六、AI大模型应用成熟度

AI大模型的特点相信很多朋友都比较清楚了。目前在ToB领域已广泛应用于互联网、金融、政务、工业、教育、消费等多个领域,行业用户通过引入AI大模型解决方案,优化业务流程、提升决策效率、创新服务模式,积极探索如何利用最新大模型技术推动企业数字化和智能化转型。

按照细分行业应用场景的成熟度分析如下:比如成熟度高的有互联网领域的智能客服、金融领域的知识助手、教育领域的智能问答等,不可否认在部分行业的场景下目前还并不成熟。

七、AI大模型四个主要技术方向

当前AI大模型技术发展呈现四大趋势:

1、 Scaling Law面临挑战,大模型研究重点从预训练转向后训练:主要是因为互联网文本数据的耗尽,预训练阶段的Scaling law面临挑战,大模型研究关注焦点从预训练阶段转移至后训练阶段,提升数据质量、提升模型复杂逻辑推理能力、降低成本并减少幻觉成为大模型研究工作的重点

2、算力平台和模型创新紧密耦合,提升大模型创新效率:大模型+大算力+大数据”是推动大模型创新和能力提升的重要路线,大模型创新效率提升需要算力芯片、大模型训练和推理加速框架、高质量多模态数据集等紧密耦合共同推动。

3、 MoE架构开始广泛应用于推动模型性能和效率提升:MoE架构鼓励在模型设计和训练过程中采用创新方法,有助于促进AI领域内的多样性和创新,MoE架构具有平衡大模型训推成本和计算效率等优势,适合处理大规模数据和复杂任务,已成为谷歌、OpenAI、阿里、腾讯等企业控制成本、提升模型性能、应对大模型“价格战”的新方向。

4、大模型工具链不断完善加速大模型应用研发与落地:大模型工具链包括训练工具、推理工具和应用开发工具,工具链的不断完善对构建大模型服务体系,应对大模型训推复杂性的挑战和降低大模型开发和部署的门槛起到较强的推动作用。

八、AI大模型商业化形式主要有哪些

根据第一新声的报告显示,AI大模型市场应用的三个主要方是融合应用软件、智能助手和AI Agent。具体内容如下:

九、AI大模型产品价格走势

截止到2024年底,我国典型AI大模型的价格下降至0.5元/百万Tokens以内,国产大模型已大幅降价,为广泛商业化应用奠定基础;当前AI大模型产品进化路线有两条,一是通过增加模型参数量、扩大数据集、提升训练计算量来获得性能更强大的大模型产品;二是通过优化模型架构适应性和计算效率,获得更具性价比的产品,如70B参数的模型,通过优化架构和训练策略,可获得接近或超越更大规模模型的性能。

十、AI大模型ToB领域落地的挑战和困难

挑战1:高成本、复杂投入下的投资收益挑战,IDC调研显示,算力成本、隐形的机会成本、投资回报的长周期以及不足的人才储备是企业落地大模型遇到的第一道难题。

挑战2:模型选配难题精准匹配难,适配挑战加剧,很多企业认为模型精度还不能满足落地要求,无法衡量具体效果;具体表现在涉及用户信息、面向生产和决策的任务中,对模型的逻辑推理、任务执行要求更高,而当前大模型的泛化性使得企业在模型优化上面临更大的挑战。

挑战3:模型部署落地:细节挑战遍布,每一步都是考验,很多企业认为模型调优(Prompt Engineer-ing/Fine-tuning)是大模型开发中投入最多且挑战更大的工作之一。由于模型优化方式、路径、调整程度选择多样且企业缺少足够经验和技术支撑,导致该过程复杂且耗时,使得经验欠缺的企业在执行过程中面临众多困难。

挑战4:潜在安全风险与可解释性的双重挑战,大模型服务拥有更长的链条,涉及全周期的数据和模型管理、模型调优、使用交互、查询调用等,因此需要考虑为大模型搭建专门的安全模块。

还有关键的一点是投资回报与前期投入持平的时间点并不是固定的;企业对大模型拥抱程度越高、资源投入和落地范围越大、应用深度越深,这个时间点也会越早到来,企业收益也会更明显。

十一、如何学习大模型 AI ?

由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。

但是具体到个人,只能说是:

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

https://img-blog.csdnimg.cn/img_convert/05840567e2912bcdcdda7b15cba33d93.jpeg

在这里插入图片描述

第一阶段(10天):初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么?
  • 大模型是怎样获得「智能」的?
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例:向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范

第二阶段(30天):高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示(Embeddings)
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署

第三阶段(30天):模型训练

恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。

到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2:手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建

第四阶段(20天):商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身:基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例:如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案

学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。

如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

https://img-blog.csdnimg.cn/img_convert/05840567e2912bcdcdda7b15cba33d93.jpeg

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值