大模型技术飞速发展，算法工程师岗位也要大洗牌了？

随着大模型的飞速发展，在短短一年间就有了大幅度的技术迭代更新，从LoRA、QLoRA、AdaLoRa、ZeroQuant、Flash Attention、KTO、蒸馏技术到模型增量学习、数据处理、开源模型的理解等，几乎每天都有新的发展。

作为算法工程师，面对如此飞快的技术迭代，是否感觉到自己的学习步伐有点跟不上技术的发展？而且对这些新兴技术的理解仅仅停留在应用层面上，实际上对背后的原理没有具体剖析过？目前很多传统IT开发工程师已经在学习Agent开发和大模型微调技术，随着大模型能力的持续提升，在未来1-2年里，掌握了大模型开发+微调技术的传统IT工程师们，很大概率会替代掉一大部分传统的算法工程师。

如果希望在大模型赛道上持续保持竞争壁垒，不被替代，继续在高薪的算法岗位上奋斗，那么对微调、预训练、模型部署，不同开源大模型底层的区别等各类相关技术和知识需要有很深入理解才行。 

鉴于这类痛点，并迎合技术的发展，贪心科技一如即往地在这个关键时间点推出《大模型微调算法实战营》，通过3个月的时间，全面掌握大模型领域主流的技术以及背后的精髓，帮大家大大节省学习成本。本课程是贪心科技经过5个月多，走访了百度文心一言团队，智谱AI，百川智能，华为盘古等当下大模型行业头部企业，根据其对大模型算法岗位的要求1:1设计打磨的，全程带领学员做真实项目，学完可以直接对标各类大厂对大模型算法岗技术要求！

相比于市面上偏“科普”类的大模型课程，贪心科技的这门课程更加偏向算法底层原理的剖析，不仅会全面讲解各类微调技术，还会深入对比llama，Mistral，Baichuan，ChatGLM等开源大模型之间的区别，知识密度很高，干货满满。课程中的实操项目都是大厂导师们自己实际完成过的，并有部分属于交付给甲方过的项目，课程选择了目前比较主流的一些应用场景进行实操。

课程最终要为学员的技术负责，并不是为了讲课而讲课，现在大模型迭代比较快，学习期间课程会根据技术的迭代而动态调整，加入最新的技术，性价比非常高！

下面是课程简介，感兴趣的朋友们欢迎扫码添加顾问老师，领取完整的课程大纲。  

扫码添加顾问老师，领取完整课程大纲

---

类别	说明
课程形式	线上直播+课程学习群答疑
课程安排	13次直播授课，每周1次，每次3-3.5小时
课程服务	25人以内学习群，助教答疑，保证遇到的问题被快速解决 专属咨询顾问与班主任老师全程伴学 全程直播讲解与演示+可反复观看课程视频

课程大纲

第一阶段：大模型基础

第一章：开营典礼

• 介绍课程目标、安排和预期成果

• 明确对学员的要求和期望

• 概述课程中将探讨的项目和技术

• 讨论大模型技术的行业现状

• 推荐关注的工具和开源项目

第二章：大模型是怎么炼成的

• 大模型的定义和重要性

• 大模型发展历程和关键里程碑

• 预训练与微调的基本概念

• 大模型预训练、数据处理、微调、对齐

• 大模型训练的基础设施和资源需求

• 面临的挑战和未来发展方向

第三章：Transformer模型原理剖析（1）

• Transformer模型的基本架构

• Self-Attention机制的原理和计算过程

• Multi-Head Attention的设计和作用

• 注意力权重的计算和可视化

• Self-Attention在模型中的作用和优势

第四章：Transformer模型原理剖析（2）

• Positional Encoding的概念和实现方法

• Rotary Positional Embedding

• BPE tokenizer，SentencePiece Encoding

• Transformer中的Feed-Forward Networks

• Layer Normalization的原理和重要性

• Transformer模型中的残差连接

• 编码器和解码器的结构差异

第五章：Transformer模型原理剖析（3）

• Transformer的训练策略和优化方法

• 参数初始化和学习率调度

• Transformer模型的正则化技术

• Attention机制的变种和改进

• Greedy Decoding, Beam-search

• Top-K Sampling, Top-p Sampling

• Transformer源码解读

第六章：Transformer模型全量微调和高效微调

• 全量微调与高效微调的区别

• Transformer模型微调的常见策略

• 选择合适的微调任务和数据集

• 微调中的挑战和最佳实践

• 评估微调效果的标准和工具

第七章：【项目实战1】大模型PEFT微调项目

• PEFT的安装

• PEFT的使用说明，核心模块讲解

• 指令数据准备和预处理的技巧

• 实施微调的详细步骤

• 微调项目的性能评估和分析

第八章：GPT模型家族剖析

• GPT系列模型的发展历程

• GP1到GPT4，GPT3模型剖析

• GPT代码解读

• InstructGPT模型剖析

• Zero-shot Prompting

• Few-shot Prompting

• GPT模型的局限性和挑战

第九章：LLaMA家族模型剖析

• LLaMA模型的特点和技术创新

• LLaMA模型的原理剖析

• LLaMA源码解读

• LLaMA与其他大模型的对比

• LLaMA模型的训练和微调策略

• 面对LLaMA模型的未来发展方向

第十章：ChatGLM家族模型剖析

• ChatGLM的架构和设计理念

• ChatGLM模型解读

• ChatGLM1到ChatGLM3的技术迭代

• ChatGLM模型的优势和应用领域

• ChatGLM模型微调和部署的实践指南

• ChatGLM模型的评估和性能优化

第十一章：Baichuan家族模型剖析

• Baichuan模型的概述和核心技术

• Baichuan原理剖析和源码解读

• Baichuan模型与其他模型的比较

• Baichuan模型在特定任务上的应用

• 微调Baichuan模型的策略和技巧

• Baichuan模型的局限

（添加顾问老师，领取完整课程大纲）

第二阶段：大模型指令微调之- LoRA

第十二章：指令微调基础

第十三章：必要矩阵知识

第十四章：LoRA算法剖析

第十五章：指令数据搜集和生成

第十六章：【项目实战2】Alpaca微调大模型

第十七章：AdaLoRA算法剖析

第十八章：【项目实战3】Vicuna微调大模型

第三阶段：大模型指令微调之- Quantization

第十九章：模型Quantization基础

第二十章：QLoRA算法剖析

第二十一章：【项目实战4】QLoRA微调LLaMA大模型

第二十二章：模型Compression技术

第二十三章：模型蒸馏技术探索

第二十四章：ZeroQuant算法剖析

第二十五章：SmoothQuant算法剖析

第四阶段：大模型对齐之-RLHF

第二十六章：RLHF算法概述

第二十七章：人类反馈的集成

第二十八章：PPO算法概述

第二十九章：强化学习和数据基础

第三十章：策略优化基础

第三十一章：PPO核心技术细节

第三十二章：基于开源大模型从零实现PPO算法

第三十三章：高级PPO技术和强化学习进阶

第三十四章：【项目实战5】RLHF医疗大模型微调

第五阶段：大模型对齐之-DPO

第三十五章：DPO算法概述

第三十六章：排序和偏好的基础

第三十七章：DPO核心技术细节

第三十八章：DPO算法的从零实现

第三十九章：【项目实战6】DPO在推荐系统中的应用

第四十章：高级DPO技术

第六阶段：大模型其他微调技术

第四十一章：Prefix Tuning算法剖析

第四十二章：Adaptor Tuning算法剖析

第四十三章：Flash Attention算法剖析

第四十四章：Flash Attention 2算法剖析

第四十五章：Kahneman-Tversky Optimization (KTO) 算法剖析

第四十六章：【项目实战7】QLoRA+Flash Attention微调大模型

第七阶段：大模型增量学习

第四十七章：大模型增量学习概述

第四十八章：增量学习与灾难性遗忘

第四十九章：增量学习中的高级主题

课程主讲

郑老师

人工智能、大模型领域专家

• 清华大学计算机科学与人工智能研究部博士后

• 长期在大厂从事对话系统，预训练语言模型的研发和商业化

• 主要从事自然语言处理，对话领域的先行研究与商业化

• 先后在AAAI，NeurIPS，ACM，EMNLP等国际顶会及期刊发表高水平论文十余篇

李文哲

贪心科技创始人兼CEO

人工智能、大模型领域专家

• 多家上市公司技术战略顾问

• 曾任金融科技独角兽公司首席科学家

• 曾任量化投资初创公司首席科学家

• 曾任美国亚马逊推荐系统工程师

• 深耕人工智能领域十余年，授课培养AI学员数万人

扫码添加顾问老师，领取完整课程大纲