费曼讲解大模型参数微调——小白也能看懂

最新推荐文章于 2025-05-21 18:24:26 发布
最新推荐文章于 2025-05-21 18:24:26 发布
阅读量1k 收藏 26
点赞数 25
分类专栏： 程序人生 AGI 学习路线 文章标签： 数据库 语言模型 服务器 学习 前端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_71745484/article/details/148084335
版权

费曼讲解大模型参数微调——小白也能看懂

img

学贵专精正

人工超级智能（ASI）——聚焦AI数据、算法、思想、伦理等深度洞察，致力于AI先进科技、先进思想、先进文化。

23篇原创内容

公众号

故事是这样的

人物组（1）：老师、学生。
人物组（2）爸爸、妈妈、我，妹妹。
任务一：妈妈监管我的学习，我学习理科，我主要就是寻找窍门，提升解题的技巧和方法，想在考试中获得高分，这样妈妈就会多给我零花钱。
任务二：爸爸监管妹妹的学习，妹妹学习文科。妹妹主要就是背，就是把书本上学到的知识都背下来，通过记忆内容来学习。

任务二: 爸爸监管妹妹的文科学习爸爸开始监管妹妹学习文科背诵书本知识记忆标准答案完成文科学习任务一: 妈妈监管我的理科学习妈妈开始监管我学习理科寻找解题窍门提升技巧方法考试获得高分获得更多零花钱

img

学贵专精正

人工超级智能（ASI）——聚焦AI数据、算法、思想、伦理等深度洞察，致力于AI先进科技、先进思想、先进文化。

23篇原创内容

公众号

全家大脑和大语言模型的关系

大家都使用过ChatGPT，deepseek，我们只要简单的对大模型网页输入一个问题，就会马上得到答案。所以，输进去的是文字，大模型回答的也是文字。那么大模型这个大脑是咋想完就说出答案的呢？我们先看下面这个图，主要是蓝色的步。

  • • 第一步，从左边开始，我们给大模型说一句话：今天我们来开会。
  • • 第二步，每一个汉字都被编成了电报码，编码的办法就是让每个汉字自己的位置是1，其他位置是0。这些电报码被逐个送入到大模型的核心计算单元——神经元里。
  • • 第三步，大模型的神经元（计算单元）根据输入的电报码，逐个计算出新的电报码，
  • • 第四步，这些个电报码又被破译成汉字。
  • • 第五步，被破译的汉字，逐个从大模型输出：大家很高兴，这就是大模型对我们提给他的问题的答案。
神经元计算细节示例：今=[1,0,0...]深度计算示例：[0,1,0...]=天(1) 输入语句(2) 汉字编码(3) 神经元计算(4) 电报码解码(5) 输出结果

img

因为大语言模型里的神经元的数量是很大的，大语言模型使用数量巨大的神经元来模拟人脑的几百亿个神经元。这样，大语言模型就类似人脑。而每个神经元里其实都是一个线性或者非线性的计算公式，这个公式里包含着公式系数，如。几百亿个神经元，就是几百亿个类似的公式，通过加减乘除或者指数方式拼成了一个更加巨大的公式，然后就有了几百亿甚至上千亿个系数。这些系数就是大模型的参数。
这不是一个严谨的说法，但我们只要知道大语言模型是由公式和公式系数构成的就好。公式决定了大语言模型思考问题的规律，也就是大语言模型是按照数学计算公式来思考问题的，而系数决定了大模型思考问题的配置，思考方式+思考配置，最终确定了大语言模型的输出内容。

img

学贵专精正

人工超级智能（ASI）——聚焦AI数据、算法、思想、伦理等深度洞察，致力于AI先进科技、先进思想、先进文化。

23篇原创内容

公众号

学生如何跟着老师学知识——小模型参数学习/蒸馏范式

我们知道了大语言模型可以思考问题，但是，大语言模型怎么学习（训练）呢？其实大语言模型学习和我们人类学习的方法差不多，只不过大语言模型学习的方法更加笨拙一些，不如人类的学习方法灵活。人类就是想学就学，碰见什么东西学什么？从来不固定的学习方法，但是机器不一样，谁让它是机器呢。
下图展示了一个学生（知识少的小语言模型）如何跟着老师（知识多的大语言模型）学知识的过程。
①右图：模型参数学习/蒸馏范式。从下往上看。
如果一个没有多少知识的学生想要学到更多的知识，他或者跟着老师学，或者自己学。跟着老师学最后的结果就是老师头脑里的知识被迁移到了学生的头脑（小语言模型），自己学，其实也是要读书，书也是曾经的老师们创造的知识。
无论怎么样，都可以按照图中的方法，假如学生准备学习数学知识，那么可以找很多精题试卷，分别让学生作答，老师作答。将作答的试卷结果进行比较，必将比较的结果以不同的方式反馈给学生。

img

②左图：这里反馈的方法不同，直接决定了学生学习的具体行动方式和思路，从上往下看。

  • • 假如妹妹跟着爸爸学习。妹妹每天背诵，爸爸负责检查，如果爸爸每次反馈的方法是：比较妹妹回答的内容和标准答案的差异，如果差异大就惩罚妹妹，差异小就惩罚少，那么这就是用监督学习方法。妹妹最好的学习方法就是将过程和答案都背下来，死记硬背，不用考虑其他。这种学习过程本质是妹妹（小模型）记忆强化，背的越多，学的越好，非常适合文科内容的学习，尤其是常识性的问题。现实中常见的早期的ChatGPT，以及DeepSeek-V3、llama等等，都属于这类模型。就是见过的，就知道，没见过的，就很难了。再举一个例子，首先记住1-10这十个数字，如果要计算2+3=？则必须见过2+3=5这道题，如果没记住，那么即便是你会2+2=4，也大概率不会2+3=5；所以，监督学习，优势在记忆，推理能力很弱或早期的模型就没有（后来毕竟改进了）。
  • • 假如我跟着妈妈学习。我每天学习，妈妈负责检查。如果妈妈每次反馈的方法是：告诉我考试成绩和老师考试成绩的差异，如果差异变大，我就不能得到更多的零花钱，如果差异变小，那么就可以得到更多的零花钱，那么就是用强化学习方法。给我分数差异的变化，我就知道我是否进步了，并且这种学习方法，我的目标性不是像监督学习那样，一定要背下来某个东西，我才能学习好，而是我只要分数进步大，我就是进步了，就可以得到更多的零花钱。那么此时，我的学习技巧？其实就是我的自由，这种情况，我可以选择背诵，但是我也可以选择逻辑推理。如果我学习理科，那我肯定更愿意学习推理，因为背诵题目是背不完的，数理化的题目是无穷无尽的。我只要寻找更好的推理技巧，掌握了数理化的原理，以不变应万变，我的分数相反可以提升的更快；但如果学习文科，则必须要背诵、记忆，反倒是非常消耗时间。同样举计算2+3=？的例子，首先记住1-10这十个数字，如果要计算2+3=？我即便从来没见过2+3=5这道题，我只要会推理1+1=2，1+1+1=3，那么2+3可以被分解为1+1+3→1+1+1+1+1+1，所以=5。所以强化学习的方法，强推理能力，一般记忆能力。典型：R1 O1~O3。
理科学习模式文科学习模式差异大差异小差异增加差异减小典型模型:ChatGPT/LLaMA典型架构:DeepSeek-R1/O3开始背诵输入标准答案机械记忆检查差异强化惩罚减少惩罚加强死记硬背开始学习探索解题策略自主推理成绩对比奖励减少奖励增加调整方法早期大模型新一代模型

实际上，监督学习对应着提升学生的记忆内容的量，而强化学习对应着提升学生逻辑推理能力。到底使用哪种方法进行学习，要看我们学习的问题是属于要记忆才能学好的，还是要学会推理才能学好的？文科就是属于要记忆的，理科即是必须学会推理的。
回头来，两种不同的学习方法，对应了学生的两种不同思考模式。也对应了两种不同的更新小语言模型参数的算法。

img

学贵专精正

人工超级智能（ASI）——聚焦AI数据、算法、思想、伦理等深度洞察，致力于AI先进科技、先进思想、先进文化。

23篇原创内容

公众号

用我和妹妹的方法全流程培养学生

我们要全流程的培养学生，就要考虑学生从学习方法，到将来就业，这是负责任的教育态度，是对未来负责的态度。我们要培养一个学生，一定是有目的的培养学生，我和妹妹的学习方法只是一方面。也要选择合适的学习资料和学习工具，将来为毕业生提供合适的岗位。

  • • ①确定目标。我们的学生主要是搞文字工作的，还是搞书法艺术的？如果是文字工作方面，那么我们就要选一个开源的文本生成大模型；如果是搞书法艺术方面，那么我们就要选一个开源的多模态大模型。
  • • ②学习资料的选择。基础课程（开源专业数据集）和专业课程都要有。基础课可以不那么挑选教材，但专业课程，就必须选择和学生未来的职业发展密切相关且质量好的读本，这些读本必须精挑细选，避免学生学习过程中出现学到错误或者浪费就精力的问题。只有学的材料书本是非常精良的，才能保证学生的学习别学偏了。
  • • ③学习工具的选择。学习工具应该选择一个适合学生学习方式的工具，学习条件、学校，以及学生学好了专业之后，合适的岗位和工作地点。
  • • ④学习方法的确定。学习方法就是上文介绍的两种，分别是监督学习和强化学习。
④确定学习方法陈述性程序性知识类型监督学习强化学习③配置学习工具教学平台Jupyter训练框架PyTorch部署环境Docker②选择学习资料开源数据集精选教材通识基础Wikipedia专业技能行业文档①确定培养目标文字创作艺术设计人才需求分析核心方向文本大模型多模态模型①确定培养目标②选择学习资料③配置学习工具④确定学习方法就业输出

对应大语言模型的学习流程，就对应以下四个步骤。

一、预训练模型选择
基于业务场景需求选择基础模型架构：
①文本大模型（适用于NLP任务）
②多模态大模型（适用图文生成任务）

二、专业数据处理流程
构建高质量训练数据集：

  1. 数据来源：开源数据集+内部真实业务场景数据（多类典型场景数据）
  2. 预处理：数据去重→清洗（异常值/噪声处理）→格式化与向量化
  3. 数据优化：通过聚类算法进行多样性筛选，结合THINK过程生成标注标签

三、微调工具链配置
构建完整训练框架：

  1. 核心工具：LLaMA-Factory框架/字节verl框架/unsloth加速库
  2. 部署方案：集成vllm、sglang等推理优化工具
  3. 硬件适配：支持PyTorch Lightning、DeepSpeed等分布式训练方案

四、微调算法实现
实施两类主流训练方法：
（一）有监督微调(SFT)
流程：自定义数据集→交叉熵损失函数→分布式训练循环→评估指标验证（Accuracy/BLEU）→迭代优化

（二）强化学习微调(RL)
四阶段实施：

  1. 数据准备：采集人类/AI标注的偏好对比数据
  2. 奖励建模：训练独立奖励评估模型
  3. 策略生成：基于监督模型初始化，通过集束搜索生成响应
  4. 策略优化：使用PPO/TRL等算法优化策略模型，KL散度约束防止偏离

参考下图。

强化学习算法有监督学习算法模型微调四步法①基于业务需求选择预训练模型文本大模型多模态大模型②专业数据集开源专业数据集内部数据集真实场景数据（1）真实场景数据（2）真实场景数据（3）数据去重数据清理真实场景数据（4）格式化，向量化聚类算法多样性筛选标注生成THINK过程③基于数据集微调工具框架LLaMA-Factoryverl（字节开源）部署、推理工具（vllm、sglang）unsloth④主要微调算法流程有监督微调 SFT强化学习微调 RLHF，GRPO/PPO/DAPO预处理(自行收集和整理数据集)定义损失函数(Cross-Entropy)训练循环(PyTorch LightningDeepSpeed/Megatron)验证集评估(Accuracy/BLEU)模型迭代偏好数据收集(Human/AI标注对比)训练奖励模型(Reward Modeling)初始化策略模型(基于有监督学习模型)生成响应(Beam Search)奖励模型打分(RM Inference)策略优化(PPO/TRLRL4LMs)KL散度约束模型迭代
一、大模型全套的学习路线

学习大型人工智能模型，如GPT-3、BERT或任何其他先进的神经网络模型，需要系统的方法和持续的努力。既然要系统的学习大模型，那么学习路线是必不可少的，下面的这份路线能帮助你快速梳理知识，形成自己的体系。

L1级别:AI大模型时代的华丽登场

L2级别：AI大模型API应用开发工程

L3级别：大模型应用架构进阶实践

L4级别：大模型微调与私有化部署

一般掌握到第四个级别，市场上大多数岗位都是可以胜任，但要还不是天花板，天花板级别要求更加严格，对于算法和实战是非常苛刻的。建议普通人掌握到L4级别即可。

以上的AI大模型学习路线，不知道为什么发出来就有点糊，高清版可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

img

三、大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

四、AI大模型商业化落地方案

img

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。

我无法创造的东西，我就不明白。 ——理查德·费曼
AI天才研究院
10-24 1007
第一部分：理查德·费曼的生活与哲学 《我无法创造的东西，我就不明白。 ——理查德·费曼》 在科学技术史上，理查德·费曼（Richard Feynman）是一位无可争议的传奇人物。他不仅以其在量子力学和凝聚态物理学领域的卓越贡献而闻名于世，更以其独特的生
费曼：“只要我不能创造的，我就还不理解”
崔博效率手册
01-18 4588
别人造的轮子始终不是你的轮子，只有你自己造的轮子可以助你飞驰！
6000字长文告诉你：大模型「训练」与「微调」概念详解！
lvaolan168的博客
02-07 1017
1、大模型预训练与微调的基本流程2、预训练、训练、后期预训练、微调的区别3、大模型训练与微调的一些概念，如：Post-pretrain、SFT、RLHF、模型对齐、Lora、Q-Lora、大模型量化、微调指标、微调参数、大模型评测指标。
【实践】有浏览器就行，手把手带你从零微调大模型！零基础入门到精通，收藏这一篇就够了
logic1001的博客
10-12 1474
今天分享一篇技术文章，你可能听说过很多大模型的知识，但却从未亲自使用或微调过大模型。大模型微调本身是一件非常复杂且技术难度很高的任务，因此本篇文章仅从零开始，手把手带你走一遍微调大模型的过程，并不会涉及过多技术细节。希望通过本文，你可以了解微调大模型的流程。微调大模型需要非常高的电脑配置，比如GPU环境，相当于你在已经预训练好的基础上再对大模型进行一次小的训练。但是不用担心，本篇文章会使用阿里魔塔社区提供的集成环境来进行，无需使用你自己的电脑配置环境。
小白也能看懂的大模型微调知识点
2301_82275412的博客
12-25 1210
AIpaca 格式具有简单的结构，特别适用于文本生成、翻译、总结等任务，尤其是单轮任务导向的指令微调。以下是其主要组成部分的详细解释：📍instruction: 任务指令，类似于用户的输入（必填项），明确告诉模型要做什么。input: 任务所需的输入内容。通常在任务开放式或不需要明确输入时，可以为空字符串。output: 给定指令和输入的情况下，模型需要生成的期望输出，即参考答案（必填项）。system: 可以视作模型的预先 Prompt，用于设置模型的行为，通常是对模型的一些初始提示（选填项）
AI大模型全面解析：万字长文，深入探讨原理、应用与未来趋势！
2401_84204207的博客
02-20 1119
如果说统计模型是一个熟练的棋手，那么神经模型就像是一个天才棋手，不仅记住了大量的棋谱，还能理解每步棋背后的深层策略。例如，在Falcon40B模型的训练过程中，研究人员对CommonCrawl数据进行了大规模的过滤和去重，最终从原始的数万亿个token中筛选出了约5万亿个高质量的token。构建一个成功的大语言模型，就像精心打造一座宏伟的建筑。例如你可以用自然语言告诉Alpaca “为我的宠物猫设计一个自动喂食器”，它不仅能理解你的需求，还能给出详细的设计方案，包括材料清单、组装步骤，甚至可能的改进建议。
大模型综述：万字长文详解AI大模型的原理、应用与未来趋势
aolan123的博客
12-23 6900
在自然语言处理（NLP）和人工智能（AI）的浩瀚星空中，大语言模型（Large Language Models, LLMs）如同一颗璀璨的新星，正在改变我们与语言、与机器交互的方式。本章将带您踏上一段探索之旅，揭示大语言模型的发展历程、独特魅力及其在现实世界中的多彩应用。
论文分析模版：让任何人，任何时间，任何地点，看懂，任何专业，任何论文
Debroon
12-02 1810
这次需要明确输入、处理过程、输出及其之间的具体关系，还要解释每一步中涉及的技术和方法，以及它们是如何互相衔接的。追问：对【XXX】所有原文，再做一个概念图，格式：决策树形式+【XXX】代表什么关系。
理查德·费曼谈强人工智能——机器能够像人一样思考吗？
读芯术的博客
01-03 1040
全文共3530字，预计学习时长11分钟 理查德·费曼（RICHARD FEYNMAN） 1985年9月26日，诺贝尔物理学奖得主，也被称为爱因斯坦之后最睿智的理论物理学家，第一位提出纳米概念的人——理查德·费曼（Richard Feynman，1918-1988）在一次讲座中提出了强人工智能（artificialgeneralintelligence，又称“strong-A...
Rξ-量规中标准模型有效场理论的费曼规则
04-24
我们假设新物理效应是在标准模型有效场论（SMEFT）中参数化的，该模型以尺度不变算符的完整基础编写，直至维度6，通常称为“华沙基础”。 我们讨论了获得自发破裂理论的一致过渡所必需的所有步骤，以及其他几个重要...
阿里云ecs 8核 16G 内存 装有redis6 分配了3G内存，和2个tomcat 每个tomcat 4G 服务器反应迟钝，如何确认不是redis的问题
zqy216_2008的博客
05-21 868
我们经常用redis 但遇到tomcat timeout的时候，如何确认不是redis的问题。 不能因为这个再去搞个redis 压力测试。有没有更省劲的方法来确认不是redis的问题
SQL注入—详解(4)【DNSLog注入】
2402_84408069的博客
05-19 962
DNSLog注入是一种利用DNS协议进行信息外泄的攻击技术，通过构造特殊的DNS查询请求，将敏感数据嵌入到域名查询中，使攻击者能够通过监控DNS日志来获取这些数据。其工作原理是利用数据库的load_file()函数读取远程文件，并通过DNS解析记录获取敏感信息。攻击场景包括显错注入和盲注，前提条件是数据库具有root权限、可读写权限，且目标系统为Windows。防御措施包括输入验证与过滤、网络层防护、系统加固、监控与检测以及安全开发实践。通过实施这些措施，可以有效降低DNSLog注入的风险。
【学生管理】期末练习题
呆萌很的博客
05-20 509
【学生管理】期末练习题
function calling简介
chris_linchen的专栏
05-20 224
函数调用是LLM（大型语言模型）与外部工具或API交互的关键能力，通过微调LLM，使其能够识别何时需要调用函数，并从用户输入中提取参数，输出JSON格式的请求。这种机制使得LLM能够作为对话代理，有效利用外部工具回答问题，或将自然语言转换为API调用或数据库查询。使用示例包括定义一组工具（如获取天气信息的函数），并通过用户输入（如询问伦敦天气）触发LLM生成相应的函数调用请求。
C/C++ Select Poll Epoll 多路转接
2301_79618311的博客
05-20 644
缺点:1.需要自己手动管理文件描述符，在循环监听时，每次都需要手动设置fd集合。2.每次使用fd集合都需要将其从用户态拷贝到内核态3.select每次监听，都需要在内核态进行遍历所有fd4.select能监听的fd有限。缺点:1.每次内核需要轮询检测哪些事件就绪2.每次使用fd集合都需要将其从用户态拷贝到内核态3.随着监听fd的增多，每次可能只有几个fd就绪，效率会随着下降。优点:1.不需要在循环设置监听事件，接口使用更方便2.没有监听事件数量设置（但过多，性能也下降）
Java Spring Boot 应用集成 Spring Security 使用 Redis 存储用户信息
C_V_Better的博客
05-19 1537
本文介绍了如何在 Spring Boot 应用中集成 Spring Security 并使用 Redis 存储用户信息，以实现高效的用户认证和授权。首先，通过添加 spring-boot-starter-security 和 spring-boot-starter-data-redis 等依赖，配置项目的基本环境。接着，在 application.properties 中设置 Redis 的连接信息。然后，通过 SecurityConfig 类配置 Spring Security，定义访问权限和登录逻辑。
34、React Server Actions深度解析
最新发布
m0_60414444的博客
05-21 322
WebAssembly与React Server Components融合"：表单提交直达服务端函数，减少传统API中间层。的代码仅在服务端运行，保护数据库操作。- React 25的时空折叠渲染。- Redux 7.0的4D可视化。实现服务端数据更新与客户端自动刷新。- 自修复UI与AI联合调试。：RSC在服务端预获取数据。：表单数据自动编码传输。
学习！FastAPI
General_zy的博客
05-18 1136
FastAPI 是一个现代、高性能的 Python Web 框架，专注于构建 API。它基于 Starlette 和 Pydantic，支持异步编程，提供自动文档生成、数据验证、类型提示和安全认证等功能。与 Django 和 Flask 相比，FastAPI 在性能、异步支持和开发效率上具有显著优势，尤其适合高并发场景。FastAPI 的部署通常使用 Uvicorn 或 Gunicorn + UvicornWorker，性能表现优于 Flask。随着 AI 和 Python 生态的发展，FastAPI 在机
费曼大定理matlab
06-07
费曼大定理（Feynman's Trick）是一种用来计算一类无穷级数的技巧。在MATLAB中，可以使用符号计算工具箱来计算这类级数。假设我们要计算以下级数的和： ``` 1 + 2 + 3 + 4 + ... ``` 根据费曼大定理，我们可以将这个级数转换为一个积分： ``` sum(n) = integral(x^n * exp(x-1), x, 0, inf) ``` 其中，`n`为级数的项数。在MATLAB中，可以使用`syms`函数定义符号变量，然后使用`int`函数计算积分： ```matlab syms x n f = x^n * exp(x-1); % 定义被积函数 sum_n = int(f, x, 0, inf); % 计算积分 ``` 这个代码会计算级数的和，其中`n`是级数的项数，可以替换为任意整数。请注意，这个级数在n趋近于正无穷时会发散，但是费曼大定理依然可以用来计算其部分和。如果你想计算级数的前m项和，可以使用以下代码： ```matlab m = 100; % 前m项 sum_n_m = vpa(subs(sum_n, n, m)); % 计算前m项和 ``` 这个代码会计算级数的前100项和，`vpa`函数用来将结果以高精度显示。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值