本文节选自《2023华语数字音乐年度白皮书》
技术科普:
热闹的百模大战,着急的音频模型
1.1 从大语言到多模态,AI进入「日更」模式
2023年被誉为「生成式AI元年」。2022年11月,OpenAI 发布以GPT-3.5 模型为内核的ChatGPT。ChatGPT涌现出了上下文学习、思维链等高度智能,被认为具有颠覆式的技术突破、跨领域的应用价值,AI Agent等衍生方向也被认为具有平台和入口级意义。以此为节点,大规模参数、大算力、「暴力求解」风格的大语言模型( LLM )开启了历时性进程。 短短几月,大量AI创业公司和科技厂商纷纷入场,LLM领域进入百模大战。
自然语言、图像、视频、音频等不同信息形式,在计算机领域被称为不同「模态」。多模态研究一直是人工智能领域的不同分支。大语言模型爆发后,多模态大模型也成为技术热点。 计算机视觉领域,文生图模型在两年内有了快速飞跃。Midjourney在2022年2月发布了初版,同年11月的V4版的真实度和艺术感大幅提升;开源模型Stable Diffusion在2022年8月首次出现,2023年7月推出XL1.0版,体现了出色的写实性和提示词理解力。
视频生成向来被认为是大模型的技术高地,Runway、Pika等公司在此深耕已久。2024年2月,OpenAI推出了Sora模型生成的高质量视频范例,给定一段描述或一张静态图片,就能生成1080P的逼真视频,包含丰富的角色、动作和场景。文生视频领域从此被推入全新阶段。
1.2 音频模型:范式持续发展,爆发来得晚了些
在音乐领域,大模型技术突破似乎比想象中来得更晚一些。直到2024年3月Suno V3的发布,才引起了行业与社会的广泛关注。TME天琴实验室的音频技术负责人赵伟峰介绍到,其实2023年以来,音乐生成领域一直在持续深耕,不断有新模型和范式出现。如今技术范式有了一定共识。 主要表现为:从符号音乐到音频模型研究、大模型领域Diffusion和Transformer架构引入、逐渐解决人声唱词问题、文本/语音/音乐/音效综合一体等。
业内代表性的音频模型技术范式:
- 202301,谷歌的MusicLM(以及202306,Meta的MusicGen)——采用MuLan/Clap跨模态和自回归的Transformer模型。根据文本提示词生成24kHz频率、长达5分钟的音乐,可指定曲风、乐器、情绪等,以纯音乐为主,基本不带人声。
- 202302,英国萨里大学和帝国理工学院的AudioLDM——采用Latent Diffusion模型架构,明显降低了Diffusion模型对算力的要求。实现了音乐、语音、音效等一体化。
- 202403,Suno V3(以及202404,Udio)——没有公开技术细节。根据文本提示词,生成不同风格的歌曲,长达2分钟。包含人声唱词,用户也可手动输入歌词。
- 202404,Stability AI的Stable Audio 2.0——采用类似Stable Diffusion 3的Diffusion Transformer(DiT)架构,长序列处理效果更好。可生成44.1kHz频率、3分钟的歌曲。除了文本提示词,可上传音乐或哼唱来生成。但人声唱词依然存在问题。
*谁是真正的里程碑?
MusicLM & MusicGen:从噪声生成音乐,技术里程碑
一线技术从业者指出,2023上半年,MusicLM和MusicGen就已解决了音乐生成中的大部分问题。在已公开的技术架构中,Transformer也是效果较好的(如何评价生成音乐效果,详见后文)。从技术层面而言,MusicLM和MusicGen更有里程碑意义。因为它将自然语言模态和音频模态进行了连接,并从噪声中生成了音乐。
Suno & Udio:解决人声唱词,成为一个好产品
Suno和Udio则重点解决了另一个问题:人声唱词。这让生成音乐真正变成了生成歌曲。从业者推测,它可能采用了类似MusicLM的架构生成音乐,或是使用一个现成伴奏,再将歌词(用户手动输入或调用大语言模型生成)用TTS技术演唱出来,产生对位效果。由于未公布技术方案,难以断定其技术突破性,但它很好地整合了相关技术,成为了一个好产品。
TIPS:评价AI生成音乐的主要指标(天琴实验室及合作团队经验总结)
-
音乐性/乐理性:涉及旋律、和弦、编曲、节奏、乐器组合等,音乐的艺术性也作为考量。
-
标签匹配度:用户希望生成的音乐和最终生成的音乐是否匹配。
-
唱词(语义):具有语义能力,包括多语言、语义的可懂度、语义的完整性。
-
长序列的连贯性和结构性:虽然属于音乐性,但长序列是当前技术瓶颈,所以重点关注。短时的音乐性,不一定具备长序列的音乐性。
-
音质:音质是否能达到可供用户欣赏的艺术作品水平。
-
更多功能:比如支持更多输入、可编辑能力等。
1.3 技术路线:音频生成走热,或与符号音乐融合
以上可见,2023至2024年间,音频模型取得了快速的突破发展,这在几年前是不可想象的。在更早的阶段,AI音乐生成的技术热点是另一条技术路线:音乐符号生成。
音乐符号路线:词曲编录混均可控,但整体性不足
技术原理: 提取出音频中的音乐知识(如词曲、和弦、乐器),类似MIDI,把它变成类似音乐功能谱的数据形式,拆分成「词曲编录混」各个环节来生成,包含AI作曲、AI编曲、AI歌声合成等技术。
长短版: 最大优势是每个环节都可被控制,能更好地嵌入音乐人的工作流,成为辅助创作工具。但由于串联了多种技术,很难做到整体效果好。音乐是词曲编录混的有机融合,有时候词很好、曲很好,组合在一起却比较糟糕。另一个问题是,曲谱的训练数据相对音频要少得多。
音频模型路线:整体效果较好,但编辑/分轨困难
技术原理: 端到端直接生成完整音乐。可以理解为,把一段音乐看作一个频谱图,把频谱图当作图片来训练AI,类似图片生成,找到自然语言和音频之间的对位关系。
长短版: 生成的作品整体性强,但因为是端到端,想要进一步编辑调整(比如修改单句旋律)比较困难,获取分轨、MIDI这类制作文件也很难实现。另一个问题是,由于音频复杂度高(每秒至少有44100个数据点),提升音质需要投入极高的算力。
*路线之争?路线融合!
两条技术路线的竞赛中,随着MusicLM和Suno等模型产品的发布,让技术热点的天平又转向了音频模型一侧。不得不感叹,大模型的暴力求解风格在音乐领域也在被验证。但是,目前的音频模型依然面临几大技术卡点:可编辑性不足、长序列的音乐性、音质较差。
其中,**「可编辑能力」**的实用价值和行业呼声都很高,它也正是音频路线的短板,符号路线的长板。端到端模型反向解决编辑问题,则要对音频训练数据做更精细化的标注——回到了符号路线的逻辑。因此,DeepMusic灵动音科技的创始人兼CEO刘晓光认为,未来的音频模型和符号模型一定是协同起来的。我们可以用不同维度的音乐符号,通过音频模型来生成音乐。
应用变革:
放下路线之争,各自投石问路
虽然音乐生成的技术架构、路线尚未完全公开和统一,但大方向已被验证,各方的技术竞赛和应用探索也在加速。以Suno、Udio为代表的端到端产品,在热潮过后需要思考其应用价值;DeepMusic作为符号路线的代表,正在新态势下更新自身能力;TME天琴实验室作为平台的技术引擎,更多探索的是AI音乐生成与音娱平台的深层关联。
2.1 Suno/Udio类产品:低阶替代、创作启发及更多?
Suno类产品引发的反响,除了技术突破,很大程度在于它的大众属性:第一次让普通人体会到了「创作」歌曲的美妙。虽然这种近乎「一键生成」的方式很难等同于传统创作,但这种体验的发生,让我们得以更合理地推演AI音乐的未来。
业内几个比较有代表性的认知:
- Suno音乐水平: 超过X%的音乐人作品。X的范围从50%-80%不等,反映从业者的主观经验而非准确测算。这一方面肯定了AI音乐已达到一个不低水准。另一方面也因为音乐人的参差不齐,许多作品质量本就不够高。
- 音乐内容过剩,AI音乐难以撼动目前的音乐消费格局。 AI音乐来临前,音乐行业就已经供过于求,只有少数作品能获得高热度。这些作品或十分优质,或得益于强大的宣推。因此,达到中庸水平AI音乐,不足以改变现存格局,除非宣推环境也发生变化。
- 但部分品类将被AI接管:低阶配乐、公播音乐、短视频BGM等。 因为它们相对标准化、模式化,AI比人的产出效率更高。此外,这些品类都不具有个人IP属性(听众通常不知道创作者是谁)。许多大热流行歌曲,往往都与创作者的个人IP绑定和相互加成。
- 音乐人可用Suno们启发灵感,「可编辑」成为大势所趋。 虽然Suno音乐离专业音乐人的工作流比较远,但对音乐创作依然有启发性,毕竟创作是一个灵感性的实践活动。但想要往实用性发展,「可编辑能力」是一个刚需,这点在视觉生成领域也已被验证。
- 一个面向「中度音乐实践者」的简化音乐工作流可能诞生。 刘晓光认为,中度实践者是一个爱玩音乐,但未必想了解复杂乐理的人群。因此,音频模型的发展会催生一种简化的音乐工作流:1)大模型生成伴奏+歌词 2)带有自己音色的AI歌手演唱 3)简单交互实现任意颗粒度修改 4)大模型制作专辑图、MV等发行物料。目前还受制于编辑能力和音质,但未来1-2年,这样的生产体验就能比较成熟。
TIPS:音乐市场人群细分(DeepMusic的市场研究)
根据对音乐的参与度和专业性不同,音乐人群可分为3类:专业音乐人、音乐实践者、泛音乐爱好者。音乐实践是一种介于专业生产和纯粹消费之间的状态。
1.专业音乐人: 规模100万级。主要参与方式为创作与表演,约10万有制作能力。
2.音乐实践者: 规模1亿级。参与方式包括玩乐器、音乐APP、音乐社团等。可再分为深度、中度实践者,最大的区别在于:中度实践者不一定有创作意愿,不需要精细控制音乐内容。
3.泛音乐爱好者: 规模10亿级。绝大部分为听歌,也包含唱K、看音乐演出等行为。
2.2 DeepMusic和弦派:从专业工具扩散到不懂乐理的人
与Suno类端到端产品相比,符号音乐生成天然具有可编辑性,在服务专业音乐人上更具优势。DeepMusic是一家深耕符号路线的国内代表性的AI音乐创业公司。刘晓光对此分析到:音频模型如同「大力出奇迹」,具很高的不确定性,且国内训练成本是国外的10倍。去赌一个不一定花费多高和多久能成功的音频模型,ROI非常低;但符号模型在效果不够好时,有中间产物让用户自行修改,更具有阶段性价值。
随着音频模型的突破,DeepMusic会等到基础音频模型开源后跟进;并且发挥自身积累的优势,用精细化标注的闭源数据对音频模型进行控制。 可见,从端到端产品突破可编辑能力,到符号路线公司整合音频模型,两种技术路线正在发生融合回归,且看谁能跑出更理想的成果。
DeepMusic的旗舰产品「和弦派」是一款辅助创作工具。 2024年初进行过一次智能化升级,融入AI编曲、AI歌声等功能,能够一站式生成高质量Demo,并且各环节可控。但用户还需面对门槛较高的音乐功能谱。当前用户构成也偏专业化:20%音乐人、30%音乐老师、25%懂乐理的中度实践者、25%不懂乐理的中度实践者。4月底「和弦派」2.0版上线,刘晓光指出,下一步目标用户会泛化,面向不懂乐理和功能谱的人,正式进入中度实践者赛道。
2.3 TME天琴实验室:技术能力先行,寻找B/C端价值场景
大模型技术爆发后,国内不少互联网及硬件厂商均以不同程度加入竞赛。作为音乐娱乐平台的TME,面对语言、视觉、音频模型的技术演进,思考也从未停止。
TME天琴实验室高级总监吴斌认为,大模型有一个重要特点:核心模型数量很少,当结构足够通用时,就要靠堆算力堆数据去实验。与此同时,更优秀的开源模型不断出现,让许多公司的早期投入失去意义。 整个行业还处在一个很动荡的状态,盲目投入并不可取。最关键的决策在于「怎么去跟进大模型趋势才最合理」。 平台的核心能力是用户与场景,我们可以在开源模型基础上,重新理解场景,做更好的应用服务。
即便没有选择「All IN大模型」,但在技术快速更新期,天琴实验室仍做了这3件事:
- 认知能力跟进: 吴斌强调,哪怕不去硬训模型,对它的一线认知、训练能力还是要先具备。等到时机成熟,能够马上发力。视觉模型成为天琴的早期大模型发力点,2022年7月开始自主研发了Muse音乐视觉技术,并从图片进阶到视频领域。2024年3月,MuseV虚拟人视频生成框架正式开源,在视频一致性、时长和口型生成方面领先行业,受到业界好评。
- AI应用试点: 基于技术储备,天琴也活跃地进行应用试点。例如应用于直播间的礼物生成,可让用户文字生成有创意、个性化定制的礼物,丰富了直播玩法,带来了可观的商业收益。有时看似微小的场景,会有超出预期的反响,这也进一步加深了平台对用户场景的理解。
- 大模型加速: 大模型的技术特点决定了它的高昂的调用成本。大模型加速,即是降低模型的推理成本。天琴研发了MUSELight大模型推理加速引擎,并发现加速版Stable Diffusion的成本能达到原版的1/10甚至更低。这对一个服务海量用户的C端平台,非常有意义。2023年5月,天琴也将关联的3项加速版本向全行业开源。
由于视觉、语言模型技术成熟较早,早期天琴的音频模型投入占比并不高。赵伟峰介绍到:2023至2024年,天琴的音频模型投入在不断加大,研发重点也从歌声合成模型「琴韵」转向了歌曲生成模型「琴乐」。
- 「琴韵」歌声合成: 2023年起,天琴的「琴韵」歌声合成模型逐渐成熟。与此同时,业内出现了「AI孙燕姿」事件,反映出歌声技术可能被滥用的风险。于是,天琴找出了两个合规应用的场景:一是作为用户玩法,在K歌场景下用户上传自己的声音,生成任意演唱作品;二是歌手授权合作,促成了「AI王力宏」演唱《Letting Go》等大热歌曲的事件。
- 「琴乐」歌曲生成: 去年以来,基于符号路线的AI作曲、编曲技术已在QQ音乐上线多个应用。2024年,天琴发力音频生成模型「琴乐」。4月完成了文生纯音乐的1.0版,已整合到「启明星」音乐制作服务平台中。「琴乐」还参与到上海民族乐团的音乐会创作中,取得了不错反响。歌曲生成等复杂能力可以拭目以待。作为这一轮AI技术下的用户平台,TME选择踊跃但理性投入,争取打造技术能力与用户价值之间的最佳桥梁。
AI安全:
应对未知的一道防线
重要的应是多方参与
AI技术与应用昭示着潜在巨大的产业变革和社会影响,如今这些变革已近在眼前。反思技术的社会影响,以科技伦理视角,尽可能干预技术走向,是我们应对不确定性的底线。在大语言模型领域,价值观对齐问题已经成为产学界和政策制定者的关注重点。在AI音乐领域,围绕音乐版权、创作者生存的议题也成为了讨论焦点。
3.1 音乐版权:回到「鼓励创作」的初衷
在语言、视觉、音频模型领域,相关版权争议同时存在。主要涉及两个关键问题:①模型训练阶段,训练数据的版权合规问题;②内容生成阶段,AI生成物的可版权性问题。
在训练阶段,AI模型需要使用海量数据做预训练。如果训练数据中包含受著作权法保护的版权作品,需要符合著作权法中「合理使用」规则,或得到版权方授权。
在这一问题上,ChatGPT、Stable Diffusion等产品及背后公司都面临着来自《纽约时报》等版权方或艺术家的诉讼,案件尚在推进中。一方面,通过版权保护来鼓励创作,是内容行业长远发展的命脉;另一方面,新技术带来的潜在机会、竞争者挑战正在倒逼产业加速。两种诉求需要得到平衡共赢。目前全球范围内,这一问题还没有明确进展。随着技术产品走向成熟,AI公司与版权方也正积极谋求谈判,寻求许可授权并分享收益,这是未来的一个重要推动方向。
在生成阶段,AI生成的内容是否具有版权?版权归属于谁 ?目前在大部分国家,著作权法都不认可人类以外的主体。但生成式AI发展至今,各国立法、司法都在积极探讨相关保护方式,一个重要原因在于:人类在AI生成中还起着非常重要的作用。 以ChatGPT为例,人类在3个环节中体现了干预或创造:①模型训练中的“人工反馈强化学习”环节、②用户使用中的创造性提问、③内容生成后的调整优化。注:参考《2023植德人工智能年刊》
2023年末,国内首个「AI文生图」著作权案件在北京互联网法院审结,做出了开创性探索。了解这一案件的审理思路,有助于我们理解问题的实质和走向。
国内首个「AI文生图」著作权案件:(参考人民法院报)
- 案件回顾: 原告李某使用Stable Diffusion,通过提示词生成图片,发布于小红书平台;此后被告刘某在百家号的一篇文章配图中使用此图,未获原告许可,并截去了署名水印。
- 审理要点及结果: 原告在最初构思到最终选定图片过程中,通过设计人物呈现方式、选择提示词、设置参数、多轮图片优化等活动,投入了原告的审美选择和个性判断。涉案图片体现出原告的「独创性智力投入」, 故被认定为作品,著作权归属原告,被告侵害了信息网络传播权和署名权。
- 裁判解析:利用AI生成的内容,是否构成作品,需要个案判断,不能一概而论。 本案坚持著作权法只保护“自然人的创作”的观点,同时进行两点考量:①传统理论的全新应用场景。AI时代,人类创作工具已发生根本性变化,但并不意味着人类对画面元素不需要选择和安排;二是法律判断之外的价值判断。认可「作品」属性和「创作者」身份,有利于鼓励人利用AI工具进行创作,促进AI生成内容的标识和监管,强化人在AI发展中的主导地位,推动AI技术的创新发展和应用。
业内法律专家也指出,这一判决只适用于案件自身,还不能作为类似案件的参照。AI生成内容的「可版权性」依然存在争议。 一个较为普遍的操作思路是:并非有人参与的就是创作,需要判断人的参与程度。且在语言、视觉、音频等不同领域,参与程度有不同的认定方法。
这两个问题均有很高的复杂性,找到共赢解法仍需时间。但我们能看到,背后一以贯之的价值逻辑:著作权法的立法目的,是通过保护人类的「独创性智力投入」,来「鼓励创作和传播」。 AI技术有着解放生产力、促进内容行业发展的巨大潜力,却不能以牺牲人类创造力为代价。我们期望通过辨析、约束和利用,让它能正向推动创造力的繁荣。
3.2 人机关系:放下竞争,寻求协作
人类创作者会不会被AI替代?是另一个讨论热点。不只AI音乐,大模型技术乃至每一轮技术革命出现时,人们都有类似的不安。但历史结果表明,新技术一定会淘汰一部分低阶工种,但它不替代整体人类。并且随着低阶工种的淘汰,倒逼人们去创造更能体现自身价值的工作。 于是就有了这句调侃:淘汰你的不是AI,而是会用AI的人。
具体到AI音乐行业,前文对Suno的几则判断也大致表明:由于音乐内容供过于求,想要获得市场认可,往往需要做到极高水准,或被强大的宣推驱动,这是AI音乐所不具备的。优质作品中蕴含了人类艺术家的独特个性、经验与情感,这也是AI音乐所不具备的。但是,罐头音乐等低阶工种,应该逐渐就被AI接管了。
与此同时,速成的AI音乐能够启发音乐人的灵感,AI工具能够解决音乐人工作流中的非创造力劳动。所以,更好的视角不是与之竞争,而是站在AI的肩膀上。知名音乐人、制作人陈珊妮曾鲜明地表达:创作人该在意的或许不是「我们是否会被取代」,而是「我们还可以做些什么」。 回到人类的能动性。对于音乐人发展,技术从业者们也给出了一些友善建议:
技术从业者对音乐人的友善建议:
吴斌: 我觉得大家不妨多听一下,多玩一下。因为这个趋势是挡不住的,哪怕你不拥抱,大部分音乐人也会拥抱,最后还是被倒逼,那不如早一点。去了解AI能轻易做到什么,做不到的是什么。有些东西AI就是做不好,这时候音乐人就能发挥自己的优势了。
刘晓光: 简化的音乐工作流将一定程度上成为新的音乐生产方式,建议音乐人了解,并和AI配合。也请相信AI会越来越可控,让音乐人实现自己想要的创作。但是非IP化歌曲,应该慢慢就真做不过AI了,音乐人需要越来越注重自己的IP属性,做自己的专属表达。
3.3 多元视角:再强调也不为过
李飞飞(斯坦福大学首任红杉讲席教授、前谷歌云人工智能及机器学习首席科学家)曾指出,训练人工智能的高昂成本,正在将学术界排除在外,成为商业公司的特权。 斯坦福大学报告指出,2022年科技行业贡献了32个关键的机器学习模型,而学术界仅有3个。这导致一个问题:商业用途的技术快速发展,公共价值、解决社会风险的技术显著落后。
虽然这一问题难被彻底解决,但当质疑之声变大之后,也会带来更多公共领域的保障行动发生,并能激发商业公司的更多自省和安全部署。
技术、产业、学界、第三方等,拥有不同的价值导向和专业能力,这种多元视角的参与,更可能让新技术朝符合人类价值的方向发展。 在音乐领域,艺术家与产业、技术之间也存在多元视角。但由于高昂的技术门槛、艺术门槛,这两类人群之间存在很大的信息差。
赵伟峰指出,在天琴实验室,研发团队8成以上的人员都要具备一定音乐素养,尤其符号路线需要更深的音乐知识。音频模型路线中,还需与专业音乐团队合作,对AI生成内容做评判。这样的互动才能让AI音乐更符合艺术家的标准。
专业评判只是最基础的参与形式,这种多元视角的对话协作,还有助于解决更为重大的问题。 例如,陈珊妮曾提出一个锐利的见解,认为如今特异的音乐越来越少。因为数字音乐以来,音乐一直在被分类,让人便于管理和更快聆听。但如果有个人特质的东西不在电子类、嘻哈类,那它是什么?它的流量就会降低。AI音乐也类似,它容易让各种技术指标趋于均值,但美感并不是这样的。
又例如,吴斌从技术原理视角给出了对于AI音乐水准上限的判断:大模型技术路线的实质是,从人类内容中学习,它本质上没有一个抓手去超越人类内容;但如果我们讨论AGI,就涉及另一个技术路线:强化学习。它能让AI在一个环境中自行探索试错,理论上就有可能突破人类已有内容的瓶颈。
我们需要来自艺术家的审美经验、人文关怀及理性的质疑声音,也需要来自技术从业者从底层原理出发的可靠推论,以及产业、学界及更多人…通过多元视角,用理性精神和技术力量去修复技术变革中的偏误,引导人工智能领域的良性发展。
如何系统的去学习大模型LLM ?
作为一名热心肠的互联网老兵,我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。
但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的 AI大模型资料
包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
所有资料 ⚡️ ,朋友们如果有需要全套 《LLM大模型入门+进阶学习资源包》,扫码获取~
一、全套AGI大模型学习路线
AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!
二、640套AI大模型报告合集
这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。
三、AI大模型经典PDF籍
随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。
四、AI大模型商业化落地方案
阶段1:AI大模型时代的基础理解
- 目标:了解AI大模型的基本概念、发展历程和核心原理。
- 内容:
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
- L1.4.1 知识大模型
- L1.4.2 生产大模型
- L1.4.3 模型工程方法论
- L1.4.4 模型工程实践 - L1.5 GPT应用案例
阶段2:AI大模型API应用开发工程
- 目标:掌握AI大模型API的使用和开发,以及相关的编程技能。
- 内容:
- L2.1 API接口
- L2.1.1 OpenAI API接口
- L2.1.2 Python接口接入
- L2.1.3 BOT工具类框架
- L2.1.4 代码示例 - L2.2 Prompt框架
- L2.2.1 什么是Prompt
- L2.2.2 Prompt框架应用现状
- L2.2.3 基于GPTAS的Prompt框架
- L2.2.4 Prompt框架与Thought
- L2.2.5 Prompt框架与提示词 - L2.3 流水线工程
- L2.3.1 流水线工程的概念
- L2.3.2 流水线工程的优点
- L2.3.3 流水线工程的应用 - L2.4 总结与展望
- L2.1 API接口
阶段3:AI大模型应用架构实践
- 目标:深入理解AI大模型的应用架构,并能够进行私有化部署。
- 内容:
- L3.1 Agent模型框架
- L3.1.1 Agent模型框架的设计理念
- L3.1.2 Agent模型框架的核心组件
- L3.1.3 Agent模型框架的实现细节 - L3.2 MetaGPT
- L3.2.1 MetaGPT的基本概念
- L3.2.2 MetaGPT的工作原理
- L3.2.3 MetaGPT的应用场景 - L3.3 ChatGLM
- L3.3.1 ChatGLM的特点
- L3.3.2 ChatGLM的开发环境
- L3.3.3 ChatGLM的使用示例 - L3.4 LLAMA
- L3.4.1 LLAMA的特点
- L3.4.2 LLAMA的开发环境
- L3.4.3 LLAMA的使用示例 - L3.5 其他大模型介绍
- L3.1 Agent模型框架
阶段4:AI大模型私有化部署
- 目标:掌握多种AI大模型的私有化部署,包括多模态和特定领域模型。
- 内容:
- L4.1 模型私有化部署概述
- L4.2 模型私有化部署的关键技术
- L4.3 模型私有化部署的实施步骤
- L4.4 模型私有化部署的应用场景
学习计划:
- 阶段1:1-2个月,建立AI大模型的基础知识体系。
- 阶段2:2-3个月,专注于API应用开发能力的提升。
- 阶段3:3-4个月,深入实践AI大模型的应用架构和私有化部署。
- 阶段4:4-5个月,专注于高级模型的应用和部署。
这份完整版的所有 ⚡️ 大模型 LLM 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】
全套 《LLM大模型入门+进阶学习资源包》↓↓↓ 获取~