一个半月的LLM预训练、微调(SFT/RW/RLHF/DPO)、推理和部署优化、RAG/Agent等最高效路线图

最新推荐文章于 2024-08-29 17:44:42 发布
最新推荐文章于 2024-08-29 17:44:42 发布
阅读量959 收藏 15
点赞数 14
文章标签： 自然语言处理 人工智能 AI大模型 大语言模型 LLM RAG Agent
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Z4400840/article/details/141675797
版权


学习大模型的很多同学都不知道如何进行LLM预训练、微调(SFT/RW/RLHF/DPO)、推理和部署优化、RAG/Agent，我这整理一些关于这些的路线图及学习资料，已经帮助大几十个同学进阶LLM了

所有LLM几乎所有内容都会讲解，新出现的知识也会不断更新哈

目前已有的知识如下~

1. 基础知识

磨刀不误砍柴工，LLM基础知识还是需要的。会按照历史梳理LM，详解BERT、GPT系列、长文本编码、kimi等各种预备核心知识点，并带着进行GPT预训练实战等。

2. 数据工程

数据很重要，数据是天花板，算法只是无限接近天花板。LLM的第一步就是数据处理，国外的很多SoTA研究都基于此。最后以最近几个月提出来的Deita方法作为实战结尾。

3. 大模型预训练

在这里会讲解预训练的常用框架，以及大语言模型的“大”，就离不开分布式。ZeRO的三个级别、Deepspeed理论与实战等等是必备技能。

4. 大模型微调

LLM微调最费机器，所以也是知识点最多的地方，比如详解各种PEFT方法、LoRA、QLoRA（两种量化、Page Optimizer等）、RLHF（强化学习基础、RW、PPO和PPO-max）等，以及Llama-Factory实战、LLaMA2-QLoRA实战和RLHF实战来巩固所学。

5. 推理和部署优化

LLM模型搞定，就需要考虑如何快速推理了。这里会详解Flash Attention、Speculative Decoding、KV-Cache、Paged Attention、Dynamic Batching和Contiuous Batching、稀疏attention和MoE等。

6. 评测和分析

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传
LLM有输出啦，那么如何评测呢，又该评测哪些呢？这些问题又是哪里导致的呢？这里会一一进行讲解。

7. RAG&Agent应用

目前应用最火的就是Agent、langchain、RAG了，我们会对其进行详解，并最后以langchain-RAG实战收尾。

8. Transformer的结构改进与替代方案

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传
所有LLM课程都讲完了，那么就要带有批判思维回顾下Transformer架构是否有哪些问题？那里需要改进？是否有新的模型替代，

适合群体：

  • 在校： NLP方向的学生，自己没有规划 or 导师无法手把手指导自己，在LLM时代略有迷茫，想快速掌握前沿理论与实践，并顺带得到一些学术指导，可以直接提供可做的idea

  • 校招： 前几年有些荒废 or 身边环境和资源阻碍了自己学习LLM，想快速掌握LLM理论与实践，并通过面试指导和真实面试复盘，大大提高拿到高薪offer的机会

  • 社招： 传统NLP方向想跳槽转高薪LLM岗位，但时间匆忙，想找个快速进阶的通道，外加面试指导与复盘，为跳槽做好充分跳槽

不适合群体：

  • 不适合NLP零基础想直接进阶LLM的

  • 不适合其他专业想短时间转行LLM的

  • 不适合已经是P7及以上大佬要进阶的

一、AGI大模型系统学习路线

学习路线

在这里插入图片描述

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

在这里插入图片描述

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

在这里插入图片描述

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

AI大模型学习不迷路
关注
  • 14
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
LLM大模型工程入门级知识初探
互联网大厂后端码农，个人IP：无一郎的技术圈，欢迎加入我的知识星球，解锁更多内容
12-23 984
机缘巧合下自己的接触了大模型相关的研发工作，顺便调研总结一下大模型工程方向可能涉及到的行业热点方向与基础入门知识，还有一些的专业词汇的解释，有时候自己主动探索某个方向是一种乐趣，感兴趣就都可以了解一下。
为ChatGPT/ChatGLM/LLaMA/StableLM/MOSS等多种LLM提供了一个轻快好用的Web图形界面源码+教程
05-21
为ChatGPT/ChatGLM/LLaMA/StableLM/MOSS等多种LLM提供了一个轻快好用的Web图形界面。 使用System Prompt可以很有效地设定前提条件。 使用Prompt模板功能时，选择Prompt模板集合文件，然后从下拉菜单中选择想要的...
一个半月的LLM预训练、微调(SFT/RW/RLHF/DPO)、推理和部署优化、RAG/Agent等最高效路线图...
zenRRan的博客
08-07 120
我们从2024.1月底到现在已经帮助大几十个同学进阶LLM了，课程不断更新优化，好评不断，期待你的加入~一些成果两位大四本科生0基础通过1个半月的学习，一位拿到20k*14，一位拿到23k*16的LLM岗位数位在职传统NLPer拿到LLM岗位20-50%的跳槽涨薪数位在读硕士orPhD由传统NLP转向LLM科研时代，并投稿出论文我们的小团队：23年面试近50场国内LLM大厂通过率100%拿到多个大...
SFT、RLHF、DPO、IFT —— LLM 微调的进化之路
mama19971023的博客
08-07 1038
• SFT、RLHF 和 DPO 都是先估计 LLMs 本身的偏好，再与人类的偏好进行对齐；• SFT 只通过 LLMs 生成的下一个单词进行估计，而 RLHF 和 DPO 通过 LLMs 生成的完整句子进行估计，显然后者的估计会更准确；• 虽然 RLHF 和 DPO 取得比 SFT 好的结果，但代价是高昂的数据构造和计算资源开销；
程序员面试、算法研究、机器学习、大模型/ChatGPT/AIGC、论文审稿、具身智能、RAG等11大系列集锦
热门推荐
结构之法 算法之道
01-05 74万+
程序员面试、算法研究、编程艺术、红黑树、机器学习5大经典原创系列集锦与总结 作者：July--结构之法算法之道blog之博主。 时间：2010年10月-2018年5月，一直在不断更新中.. 出处：http://blog.csdn.net/v_JULY_v。 说明：本博客中部分文章经过不断修改、优化，已集结出版成书《编程之法：面试和算法心得》。 前言 开博4年有余，...
初识LLM大模型：入门级工程知识探索与解析
m0_65555479的博客
07-18 1073
源自脉脉上面刷到的大模型业务工程落地可以做的方向。其实如果不是接触相关工作，有的人可能不会想了解这方面，自己实习做的方向与之相关，因此想调研总结一下行业热点方向与基础入门知识，还有一些的专业词汇的解释。
一文看尽LLM对齐技术：RLHF、RLAIF、PPO、DPO……
2301_78285120的博客
08-10 805
最近这一两周看到不少互联网公司都已经开始秋招提前批了。不同以往的是，当前职场环境已不再是那个双向奔赴时代了。求职者在变多，HC 在变少，岗位要求还更高了。最近，我们又陆续整理了很多大厂的面试题，帮助一些球友解惑答疑，分享技术面试中的那些弯弯绕绕。为了对齐 LLM，各路研究者妙招连连。LLM 很强大了，但却并不完美，它也会出错或者生成无用乃至有害的结果，比如有人发现可以让 ChatGPT 教人如何偷盗：让 ChatGPT 教人如何偷盗商店；左图，ChatGPT 拒绝回答；
6000字长文告诉你：大模型「训练」与「微调」概念详解
python123456_的博客
07-03 1696
1、大模型预训练与微调的基本流程2、预训练、训练、后期预训练、微调的区别3、大模型训练与微调的一些概念，如：Post-pretrain、SFT、RLHF、模型对齐、Lora、Q-Lora、大模型量化、微调指标、微调参数、大模型评测指标在大模型的预训练与微调过程中，我们通常面临如何告诉模型想要什么答案和不想要什么答案的问题（后者往往被大家忽略）。本节将详细阐述大模型预训练与微调的流程，包括预训练、微调的两个阶段（监督式微调SFT和对齐阶段）以及在实际操作中可能遇到的问题和解决方法。总结来说，
聊聊大模型微调训练全流程的思考
2401_82469710的博客
07-08 816
对于模型的微调，一开始我是想的太简单了，觉得只要按照基座官方模型文档调试即可；随着了解的深入与不断的学习，微调是个大工程而且对于领域模型来说，其训练流程：预训练 --> 监督微调 --> RHLF 中包含的事项与知识太多。
LLaMA3大模型技术全网最全解析——模型架构与训练方法（收录于GPT-4/ChatGPT技术与产业分析）
chenweiPhD的博客
05-05 7323
陈巍：本文详细分析了LLaMA3的主要思想、架构与训练方法，适合技术入门与相关领域投资人阅读
Byzer-LLM 基于 Ray 技术构建，是一款覆盖大语言模型（LLM）完整生命周期的解决方案包括预训练、微调、部署及推理服务
06-06
它为 LLM 提供了从预训练到微调，再到部署和推理服务的一站式管理。Byzer-LLM 的独特之处在于它提供全生命周期管理，支持预训练、微调、部署和推理服务全流程。用户可以通过简单的 Python/SQL API 接口与 Byzer-LLM ...
基于 Ray 技术构建，是一款覆盖大语言模型（LLM）完整生命周期的解决方案，包括预训练、微调、部署及推理服务等阶段
06-29
Byzer-LLM 基于 Ray 技术构建，是一款覆盖大语言模型（LLM）完整生命周期的解决方案，包括预训练、微调、部署及推理服务等阶段。Byzer-LLM 的独特之处在于：全生命周期管理：支持预训练、微调、部署和推理服务全流程...
Byzer-LLM基于Ray技术构建，是一款覆盖大语言模型完整生命周期的解决方案，包括预训练、微调、部署及推理服务等阶段
02-04
Byzer-LLM 基于 Ray 技术构建，是一款覆盖大语言模型（LLM）完整生命周期的解决方案，包括预训练、微调、部署及推理服务等阶段。Byzer-LLM 的独特之处在于：全生命周期管理：支持预训练、微调、部署和推理服务全流程...
MT3608L 2.5A，高效率1.2MHz电流模式升压转换器芯片IC
akd13798477800的博客
08-29 84
MT3608L是一款恒频、6针SOT23电流模式升压转换器，适用于小型、低功率应用
Language Models are Unsupervised Multitask Learners
最新发布
靓仔沾点健忘症，写给时间下游的自己
08-29 497
机器学习系统现在通过结合使用大型数据集、高容量模型和监督学习(Krizhevsky et al.， 2012) (Sutskever et al.， 2014) (Amodei et al.， 2016)，在训练任务上表现出色(预期)。然而，这些系统很脆弱，对数据分布(Recht等人，2018)和任务规范(Kirkpatrick等人，2017)的微小变化很敏感。目前的系统更倾向于由狭隘的专家组成，而不是有能力的通才。
SELF-INSTRUCT: Aligning Language Modelswith Self-Generated Instructions 学习
LI_XIAO_XING的博客
08-26 170
首先会让一个语言模型自己生成要求，输入和输出，然后去除低质量，重复的例子，得到的数据集再去训练这个语言模型。3，实例生成，也就是input,output的生成。文章表示在分类任务中，先生成output再生成input更好，其他的任务都是先生成input再生成output。1，从人工生成的初始任务池中选出8个的instruction作为例子交给模型，让它生成类似的instruction。如图，给模型几个例子，让他知道什么叫分类任务，什么叫非分类任务，然后然他分辨一下自己刚刚生成的任务是不是分类任务。
BERT:Pre-training of Deep Bidirectional Transformers forLanguage Understanding
靓仔沾点健忘症，写给时间下游的自己
08-26 654
语言模型预训练已被证明对改善许多自然语言处理任务是有效的(Dai and Le, 2015;其中包括句子级任务，如自然语言推理(Bowman et al.， 2015;Williams等人，2018)和释义(Dolan和Brockett, 2005)，其目的是通过整体分析来预测句子之间的关系，以及分词级任务，如命名实体识别和问答，其中需要模型在分词级别产生细粒度输出(Tjong Kim Sang和De Meulder, 2003;将预训练的语言表示应用于下游任务有两种现有策略:基于特征和微调。
《人工智能与自然语言处理：开启智能交流新时代》
xy520521的博客
08-24 713
通过词法分析、句法分析、语义分析和机器学习算法等方法，计算机可以逐渐理解和运用自然语言。相信在不久的将来，人工智能与自然语言处理将为我们的生活带来更多的便利和创新。词法分析是自然语言处理的第一步，它主要是对文本中的单词进行分析和处理。这些算法可以通过对大量的文本数据进行学习，自动提取文本的特征和规律，从而实现对自然语言的处理和理解。它可以通过对用户的问题进行分析和理解，自动给出相应的回答和解决方案。自然语言处理的任务包括但不限于文本分类、情感分析、机器翻译、问答系统等。二、人工智能进行自然语言处理的方法。
python3 -m venv llm/llama.cpp/.venv
05-04
"python3 -m venv" 是 Python3 自带的一个虚拟环境创建工具，可以用于创建 Python3 虚拟环境。"-m" 表示模块名，"venv" 表示要使用的模块。"llm/llama.cpp/.venv" 是你指定的虚拟环境目录名称，可以根据自己的需求自定义。 在运行 "python3 -m venv llm/llama.cpp/.venv" 命令后，会在当前目录下创建一个名为 "llm/llama.cpp/.venv" 的虚拟环境目录，该目录中包含了一个独立的 Python3 解释器和一个独立的 pip 包管理器，可以用于安装和管理 Python 包，同时也可以避免不同项目之间的包冲突问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值