大模型开发 学习路线

短短一年间，LLaMA，Mistral，ChatGLM，Grok等等大模型纷纷开源，相关开发与微调技术也在迅速迭代，RAG，LangChain，DeepSpeed，Megatron-LLM等框架的风靡，LoRA，QLoRA，Flash Attention等微调技术的发展，模型压缩，模型蒸馏，模型部署等全工作流的优化，大模型的技术发展可以说是日新月异，几乎每天都有新的惊喜。

作为传统的IT从业者，开发工程师，测试工程师，数据分析师们，面对如此飞快的技术迭代，是否有了深深的危机感？过去两三年，本来就身处互联网行业寒冬，现在又要面对AI大模型带来的挑战，头不能更大了！

但乱世才能出英雄，大模型技术的发展带来了一波全新的就业机会，缺乏业务增长点又卷不动基础大模型的国内中大厂们，2024年纷纷投入到Agent应用开发的战场中，都企图第一时间杀出一条大模型商用场景的血路，也正因此AI开发工程师，大模型应用工程师等等相关岗位需求突然爆发，且很多岗位月薪直接给到30-60K，这给了正身处尴尬境地的传统IT从业者、以及应届毕业生们一个千载难逢的职业发展机会，但是窗口期最多也就是半年到一年。

目前大部分岗位对于背景的要求没有传统IT岗位那么严格，熟练掌握大模型开发和微调技术+实践过相关的项目就已经超过99%的候选人了，而且很多公司也期望招聘更多的这类人才替代掉部分传统算法工程师的工作。但是因为大模型技术很新，传统IT从业者转行过来自学是比较困难的，免费的资源杂乱无章，专业度也堪忧，自己时间又非常有限。

鉴于这类痛点，贪心科技一如即往地在这个关键时间点推出《大模型开发应用实战营》+《大模型微调实战营-应用篇》的组合学习路线，全面掌握大模型领域主流的技术，帮大家大大节省学习成本。本课程是贪心科技经过5个月多，走访了百度文心一言团队，智谱AI，百川智能，华为盘古等当下大模型行业头部企业，根据其对大模型算法岗位的要求1:1设计打磨的，全程带领学员做真实项目，学完可以直接对标各类大厂对大模型算法岗技术要求！

相比于市面上偏“科普”类的大模型课程，贪心科技的这门课程不仅会全面讲解各类开发与微调技术，还提供了十余个真实项目进行实操练习，知识密度很高，干货满满。课程中的实操项目都是大厂导师们自己实际完成过的，并有部分属于交付给甲方过的项目，课程选择了目前比较主流的一些应用场景进行实操。

课程最终要为学员的技术负责，并不是为了讲课而讲课，现在大模型迭代比较快，学习期间课程会根据技术的迭代而动态调整，加入最新的技术，性价比非常高！

下面是课程简介，感兴趣的朋友们欢迎扫码添加顾问老师，领取完整的课程大纲。  

扫码添加顾问老师，领取完整课程大纲

---

《大模型开发应用实战营》

（不限年龄！不限岗位！有Python基础的IT从业者都推荐学习）

类别	说明
课程形式	线上直播+课程学习群答疑
课程安排	20次直播授课，每周2次，每次1.5-2小时
课程服务	25人以内学习群，助教答疑，保证遇到的问题被快速解决 专属咨询顾问与班主任老师全程伴学 全程直播讲解与演示+可反复观看课程视频

不管你是前端开发、后端开发、测试、算法、数据分析......只要你想了解AI应用开发，这门课就适合你！

《大模型微调实战营-应用篇》

（适合有Python基础的开发与算法从业者）

类别	说明
课程形式	线上直播+课程学习群答疑
课程安排	11次直播授课，每周1次，每次3-3.5小时
课程服务	25人以内学习群，助教答疑，保证遇到的问题被快速解决 专属咨询顾问与班主任老师全程伴学 全程直播讲解与演示+可反复观看课程视频

---

详细大纲

《大模型开发应用实战营》

第一阶段 大模型开发基础

第一章：开营典礼

• 为什么要学习大模型开发？

• 对学员期望与课程目标

• 课程安排概览

• 学习评估

• 需要准备的工具和环境

第二章：大模型的训练与应用

• 大模型发展史

• 从大模型预训练、微调到应用

• GPT结构剖析

• 大模型家族、类别、应用场景

• RAG，Agent与小模型

第三章：大模型实操与API调用

• 通过API调用大模型

• 单论对话与多轮对话调用

• 开源模型与闭源模型调用

• ChatGLM，Baichuan，Yi-34B调用

• GPT，LLaMA模型调用

• 模型的部署、容器化

第四章：提示工程技术（1）

• 提示词的常见结构

• 提示词的模版化

• Zero-shot与Few-shot

• In-context learning

• Chain of thought prompting

第五章：提示工程技术（2）

• Tree of thought prompting

• Graph of thought promting

• Self-consistency

• Active-prompt

• Prompt chaining

（添加顾问老师，领取完整课程大纲）

第二阶段 RAG基础与架构

第六章：RAG基础与架构

第七章：【项目实战1】基于RAG的PDF文档助手

第八章：文档切分常见算法

第九章：向量数据库常见算法

第十章：向量数据库算法进阶- HSNW

第十一章：【项目实战2】基于RAG的新闻推荐系统

第三阶段 RAG与LangChain

第十二章：LangChain基础应用

第十三章：理解Function Calling

第十四章：LangChain与Retrieval组件

第十五章：LangChain与Chain组件

第十六章：Advanced RAG（1）

第十七章：Advanced RAG（2）

第十八章：基于RAGAS的RAG的评估

第十九章：实战基于Advanced RAG的PDF问答

第四阶段 模型微调与私有化大模型

第二十章：开源模型介绍

第二十一章：模型微调基础

第二十二章：GPU与算力

第二十三章：高效微调技术-LoRA

第二十四章：【项目实战3】基于ChatGLM-6B+LoRA对话微调模型

第五阶段 Agent开发

第二十五章：Agent开发基础

第二十六章：自定义Agent工具

第二十七章：深入浅出ReAct框架

第二十八章：【项目实战4】开源Agent项目

第二十九章：深度剖析Agent核心部件

第三十章：【项目实战5】基于Agent的AI模拟面试

第三十一章：Agent其他案例分享

第三十二章：其他Agent前沿应用

第六阶段 智能设备与“小”模型

第三十三章：智能设备上的模型优化基础

第三十四章：模型在智能设备上的部署

第三十五章：边缘计算中的大模型挑战与机遇

第七阶段: 多模态大模型开发

第三十六章：多模态大模型基础

第三十七章：多模态模型项目剖析

第三十八章：大模型的挑战与未来

《大模型微调实战营-应用篇》

第一阶段：大模型基础

第一章：开营典礼

• 课程介绍与目标

• 学习安排与课程结构

• 学员参与要求

• 课程项目与技术概览

• 推荐工具和开源资源

第二章：大模型是怎么炼成的

• 大模型的概念与历史发展

• 关键技术和算法基础

• 数据准备与预处理

• 预训练、指令微调、对齐

• 模型评估以及能力分析

第三章：微调的应用场景

• 微调与全量训练的区别

• 微调在不同领域的应用案例

• 选择微调任务和数据

• 微调的效果评估方法

• 微调项目的规划与管理

第四章：大模型基座-理解Transformer

• Transformer模型的基础架构

• Self-Attention机制的工作原理

• Transformer在NLP任务中的应用

• Transformer模型的变种与发展

• 使用Transformer模型的实用技巧

• Encoder和Decoder介绍

第五章：开源模型类别以及汇总

• 常见的中英开源大模型介绍

• 模型选择标准与评估

• 开源模型的获取与使用

• 社区支持与资源分享

• 开源大模型发展方向

第六章：【项目实战1】开源大模型以及部署

• Huggingface介绍

• 本地下载开源模型

• 理解HF相应的库以及导入大模型

• 模型封装以及部署

• 性能优化与成本控制

（添加顾问老师，领取完整课程大纲）

第二阶段：大模型指令微调

第七章：指令微调基础

第八章：LoRA参数微调

第九章：【项目实战2】LoRA微调Alpaca项目

第十章：模型压缩

第十一章：QLoRA参数微调

第十二章：【项目实战3】QLoRA参数微调智能客服项目

第十三章：DeepSpeed训练框架解析

第十四章：Megatron-LM训练框架解析

第十五章：Flash Attention技术应用

第十六章：微调模型Benchmark

第十七章：【项目实战4】微调QLoRA+Flash Attention

第三阶段：常用的开源模型微调

第十八章：开源模型家族以及类别

第十九章：ChatGLM开源模型家族和应用

第二十章：【项目实战5】ChatGLM微调医疗模型

第二十一章：Qwen和YI开源模型家族和应用

第二十二章：LLaMA开源模型家族和应用

第二十三章：Mistral和Phi开源模型家族和应用

第二十四章：MoE模型特点以及应用

第二十五章：【项目实战6】Mistra 8x7B微调智能客服模型

第二十六章：其他开源模型以及应用

第二十七章：开源模型特色以及选择

第四阶段：大模型对齐

第二十八章：大模型对齐基础

第二十九章：用于对齐的开源数据

第三十章：RLHF技术和应用

第三十一章：DPO技术和应用

第三十二章：【项目实战7】RLHF推荐模型对齐项目

第三十三章：【项目实战8】DPO推荐模型对齐项目

第三十四章：讨论大模型对齐

第五阶段：垂直领域大模型应用

第三十五章：垂直领域大模型微调基础

第三十六章：医疗领域大模型微调

第三十七章：金融领域大模型微调

第三十八章：教育领域大模型微调

第三十九章：课程总结以及结营

---

课程主讲

李文哲

贪心科技创始人兼CEO

人工智能、大模型领域专家

• 多家上市公司技术战略顾问

• 曾任金融科技独角兽公司首席科学家

• 曾任量化投资初创公司首席科学家

• 曾任美国亚马逊推荐系统工程师

• 深耕人工智能领域十余年，授课培养AI学员数万人

刘老师

大模型开发与微调领域专家

• 贪心科技资深算法工程师

• 拥有丰富的大模型应用开发与微调经验，曾参与基于大模型的智能客服、智能招聘系统、无人直播、面试机器人、智能助教、等数十余个项目的开发和落地

报名咨询

扫码添加顾问老师，领取完整课程大纲