大模型学习路线以及资料--更新中_强推!这可能是b站最全的(python+机器学习+深度学习)系列课程-CSDN博客

2. **Transformer 架构**
- Transformer 的核心组件：
- 自注意力机制（Self-Attention）
- 位置编码（Positional Encoding）
- 多头注意力（Multi-Head Attention）
- 经典论文精读：
- [《Attention Is All You Need》](https://arxiv.org/abs/1706.03762)（Transformer 原论文）

3. **预训练模型（Pretrained Models）**
- BERT（双向编码器）
- GPT 系列（自回归生成模型）
- T5（文本到文本的统一框架）
- 模型对比：Encoder vs. Decoder vs. Encoder-Decoder

香死了！哈工大教授花9天讲完的NLP自然语言处理！从NLP开发包到句法语义再到深度学习项目实战！整整55集，学完就能训练自己的ChatGPT！_哔哩哔哩_bilibili香死了！哈工大教授花9天讲完的NLP自然语言处理！从NLP开发包到句法语义再到深度学习项目实战！整整55集，学完就能训练自己的ChatGPT！共计55条视频，包括：1. NLP历史现在及为什么需要学习NLP技术、2. NLP实现机器学习，聊天机器人，情感分析和语义搜索、3. Python环境搭建及开发工具安装等，UP主更多精彩视频，请关注UP账号。https://www.bilibili.com/video/BV1rb421J7Zp/?spm_id_from=333.1387.favlist.content.click

6.大模型

1. **大模型架构**
- 模型结构改进：
- 稀疏注意力（Sparse Attention）
- 混合专家模型（MoE，如 Switch Transformer）
- 主流大模型：
- GPT-3/4、PaLM、LLaMA、ChatGLM、Claude

2. **大模型训练技术**
- 分布式训练：
- 数据并行（Data Parallelism）
- 模型并行（Model Parallelism）
- ZeRO（Zero Redundancy Optimizer）
- 混合精度训练（FP16/FP32）
- 显存优化（Gradient Checkpointing）

3. **高效微调技术**
- 参数高效微调（Parameter-Efficient Fine-Tuning）：
- LoRA（Low-Rank Adaptation）
- Adapter、Prefix-Tuning
- 提示工程（Prompt Engineering）

从零开始手撕微调代码（deepseek-r1蒸馏模型），并且本地运行和调试，无需联网。_哔哩哔哩_bilibili本视频讲解在如何在本地编写deepseek -r1 蒸馏模型的微调代码，无需联网，本地运行和调试。该视频为原创视频，代码和相关资料完全开源。模型下载地址：https://pan.quark.cn/s/a22f5a9e3490数据准备：https://pan.quark.cn/s/a220f415b35c, 视频播放量 27202、弹幕量 39、点赞数 836、投硬币枚数 569、收藏人数 3406、转发人数 310, 视频作者 Bin_Nong, 作者简介，相关视频：【DeepSeek+LoRA+FastAPI】开发人员如何微调大模型并暴露接口给后端调用，如何把你的 DeePseek-R1 微调为某个领域的专家？（实战篇），deepseek r1微调模型应用落地案例（医疗法律，PatientSeek），适合借鉴学习。，DeepSeek最新使用教程（干货满满），2024吃透AI大模型（LLM+量化+部署+微调）通俗易懂，学完即就业！拿走不谢，学不会我退出IT圈！！！——大模型微调/大模型学习路线，【整整548集】爆肝整理！B站最全最细自学大模型全套教程，逼自己1个月学完！从零基础小白到大模型工程师上岸全站只要这套就够了！—ai大模型/大模型学习路线，【DeepSeek教程】清华大学带你从入门到精通，全程干货无废话！少走99%的弯路！存下吧！很难找全的！，第二十课：MoE，【必看珍藏】2月6日，安德烈·卡帕西最新AI普及课：深入探索像ChatGPT这样的大语言模型｜Andrej Karpathy，大模型RAG企业项目实战：手把手带你搭建一套完整的RAG系统，原理讲解+代码解析，草履虫都能学明白！LLM大模型_RAG_大模型微调_多模态https://www.bilibili.com/video/BV1pfKNe8E7F/?spm_id_from=333.1387.favlist.content.click

deepseek r1微调模型应用落地案例（医疗法律，PatientSeek），适合借鉴学习。_哔哩哔哩_bilibili本视频讲解deepseek r1微调模型应用落地案例（医疗法律），适合大家学习和借鉴，代码和相关资料完全开源。视频中markdown（含代码）文档地址：https://pan.quark.cn/s/ce195bd4aeebllama-cpp-python的whl下载地址：https://pan.quark.cn/s/947a7c2266cb博客地址：https://medium.com/enter, 视频播放量 66333、弹幕量 29、点赞数 2720、投硬币枚数 2127、收藏人数 8414、转发人数 845, 视频作者 Bin_Nong, 作者简介，相关视频：【deepseek微调一个专属AI医生】保姆级教程！！10分钟教你微调deepseek-R1-8B蒸馏模型，免费训练一个专属的AI医生，草履虫都能学会！，【DeepSeek+LoRA+FastAPI】开发人员如何微调大模型并暴露接口给后端调用，如何把你的 DeePseek-R1 微调为某个领域的专家？（实战篇），大模型RAG企业项目实战：手把手带你搭建一套完整的RAG系统，原理讲解+代码解析，草履虫都能学明白！LLM大模型_RAG_大模型微调_多模态，如何在本地微调DeepSeek-R1-8b模型，如何快速微调DeepSeek-R1-8b模型，并且可视化训练过程，赶紧行动起来。，(超爽中英!) 2024公认最好的【吴恩达LangChain+RAG】教程！更适合中国宝宝体质，全程干货无废话，学完成为AGI大佬！（附课件+代码），练习两分半，使用DeepSeek-R1蒸馏训练自己的本地小模型（Qwen2.5-0.5B），原理流程全讲解，模型数据全给你，【AI大模型与强化学习】大模型DeepSeek R1训练全流程流程详解！GRPO算法原理详解;强化学习赋能大模型本质是什么!大模型课程大模型蒸馏人工智能课程，DeepSeek：行业应用与实践（直播录屏）https://www.bilibili.com/video/BV17zAVevEtw/?spm_id_from=333.1387.favlist.content.click B站首推！2025最新版大模型AI Agent入门到精通实战教程！包含所有知识点(Agent+RAG+LangGraph)存下吧！很难找全的！学完少走99%的弯_哔哩哔哩_bilibiliB站首推！2025最新版大模型AI Agent入门到精通实战教程！包含所有知识点(Agent+RAG+LangGraph)存下吧！很难找全的！学完少走99%的弯共计99条视频，包括：AI大模型从0到1学习路线指南、1-2 带你快速了解大语言模型(LLM)基础与发展、1-3 国内外主要LLM及特点介绍等，UP主更多精彩视频，请关注UP账号。https://www.bilibili.com/video/BV1SqKHeUEm5/?spm_id_from=333.1387.favlist.content.click

【DeepSeek教程】清华大学带你从入门到精通，全程干货无废话！少走99%的弯路！存下吧！很难找全的！_哔哩哔哩_bilibili【DeepSeek教程】清华大学带你从入门到精通，全程干货无废话！少走99%的弯路！存下吧！很难找全的！共计6条视频，包括：DeepSeek到底是什么？、DeepSeek实用技能分享、Deepseek进阶教程等，UP主更多精彩视频，请关注UP账号。https://www.bilibili.com/video/BV1b8AkePEw4/?spm_id_from=333.1387.favlist.content.click 2025吃透AI大模型微调全套视频教程，逼自己一个月学完，让你少走99%弯路【LLM+RAG+Langchain+ChatGLM-4+OpenAI】_哔哩哔哩_bilibili2025吃透AI大模型微调全套视频教程，逼自己一个月学完，让你少走99%弯路【LLM+RAG+Langchain+ChatGLM-4+OpenAI】共计94条视频，包括：1可跳过进入正片，课前老师介绍、2.RAG VS Fine-Tuning模型微调、3.大模型企业级业务场景落地方案实践等，UP主更多精彩视频，请关注UP账号。https://www.bilibili.com/video/BV1Rg6tY3E4g/?spm_id_from=333.1387.favlist.content.click

B站强推！2024公认最通俗易懂的【Transformer】教程，125集付费课程（附资料）神经网络_注意力机制_深度学习_BERT_大模型_哔哩哔哩_bilibiliB站强推！2024公认最通俗易懂的【Transformer】教程，125集付费课程（附资料）神经网络_注意力机制_深度学习_BERT_大模型共计100条视频，包括：1.1.1Transformer背景介绍、2.2.1认识Transformer架构-part1、3.2.1认识Transformer架构-part2等，UP主更多精彩视频，请关注UP账号。https://www.bilibili.com/video/BV1Hm421g7u9/?spm_id_from=333.1387.favlist.content.click AI大模型全套教程（LLM+RAG+Langchain+国产大模型ChatGLM-4+NLP新模型Transformer+DeepSeek部署）-马士兵_哔哩哔哩_bilibiliAI大模型全套教程（LLM+RAG+Langchain+国产大模型ChatGLM-4+NLP新模型Transformer+DeepSeek部署）-马士兵共计69条视频，包括：私有大模型部署和调参：AI大模型开发是干什么的？、私有大模型部署和调参：AI大模型的基本概念、私有大模型部署和调参：RAG的原理等，UP主更多精彩视频，请关注UP账号。https://www.bilibili.com/video/BV1g1CKYUExu/?spm_id_from=333.1387.favlist.content.click

【全748集】清华大佬终于把AI大模型（LLM）讲清楚了！通俗易懂，2024最新内部版！拿走不谢，学不会我退出IT圈！_哔哩哔哩_bilibili【全748集】清华大佬终于把AI大模型（LLM）讲清楚了！通俗易懂，2024最新内部版！拿走不谢，学不会我退出IT圈！共计137条视频，包括：1-1 课程内容介绍、1-2 课程大纲、1-3 课程计划等，UP主更多精彩视频，请关注UP账号。https://www.bilibili.com/video/BV1rS411F735/?spm_id_from=333.1387.favlist.content.click&vd_source=66d139c8a7a974f25fb6bb9383b07c1a