sgliquangang的专栏

全称：基于人类反馈的强化学习目的：实现人类对齐过程：利用收集到的人类反馈数据指导大模型微调奖励模型概念：基于语言模型设计，模仿人类标注员对待对齐模型生成的内容进行质量评分，实现对人类偏好分数的预测奖励模型作用：替代人类在RLHF训练过程中试试提供反馈训练数据：人类偏好数据重要性：RLHF中的核心算法。

确保大模型的行为与人类价值观、人类真实意图和社会伦理相一致。

卦代表事情，爻代表时机，三爻为一卦八卦对应的天相，六十四卦对应人间事。

目的：由于大模型参数量大，全参数微调资源开销大，使用参数高效微调（又称轻量化微调）的方式，在保证微调效果的基础上，来降低微调过程资源消耗知识框架低秩适配微调方法（LoRA）LoRALoRA变种其他高效微调方法（使用较少）适配器微调前缀微调提示微调大模型微调用的少，多用在预训练语言模型微调阶段。

关闭clash之后就ok打开clash，就会提示您的连接不是私密连接。

与与训练阶段类似，设置与数据组织形式类似。

指令微调又称监督微调、多任务提示训练，即使用自然语言方式对预训练模型进行参数微调为了减轻人工标注与数据收集的负担，提出的一种半自动化数据合成的方法。指令的质量比数量重要指令微调时应优先使用人工标注的多样性指令数据。

南斗天府星太阴星天梁星天相星北斗紫微星天机星太阳星武曲星天同星廉贞星帝星官带星、文武双全阳星贵人星主正财位于官禄宫，官星越大，管越大，紫微星最大财星进入官禄宫，主贪官无左右辅星，主孤单，处于福德宫且无辅星，主孤单一生相脸宽耳长、正面不见耳五官开阔厚重不苟言笑具备解厄制化能力，遇难逢凶化吉，能制所有凶星无解厄制化功能，许多书上说有，实际没有官带星，文官带，教星（公务员、教师等）

能力再强的员工，也不能越级提拔，即便其要离职，也不可越级提拔，仍然要按照公司规章制度进行提拔晋升。通常来说，无为才是最好的方式，大刀阔斧往往损人不利己，要顺势而为，无为不会失去天下，死作才会。2、然后是汇报线，要严格按照汇报线做事情，不要追求效率，最慢的往往是最快的。3、职级很重要，关系到汇报线、待遇等制度。1、首先是管理基础最终要的是制度。

组成部分模型参数模型梯度优化器等数据存储格式16位、2字节浮点数模型参数模型梯度32位、4字节浮点数模型参数动量参数动量二阶矩阵参数显存存储内容：前向传播需要保留每层的激活值（中间状态），来用于后续反向传播中计算梯度并更新模型参数。

四化星为主力星，为化科、化权、化禄、化忌放到十二宫里面之后，不需要动，固定位置看与哪颗星关联来算命念影响做法，做法影响命运星性代表专业能力代表名气相的特点手掌上的天柱纹通天。

水->木->火->土->金->水【闭环】突发的、短暂的具有预兆功能的事情。

浮点数的加减乘除运算浮点数的指数函数运算对数函数运算三角函数运算。

看杀星集中在哪个宫，哪个部位就容易有问题，多个宫有杀星，就是多个部位有问题。十二宫与体内部位对应关系图。十二宫与体内部位对应诗。学习->验证->思考。

神与形对应，形是神的实例，神是形的规律总结概括。把握时机，引导事情向期望的方向发展。介绍课程内容，介绍部分概念。

解码器的每一层都包含一个多头自注意力层，查询、键、值三个组成变换矩阵，1个包含H²个参数，共3H²个参数，同事还需要1个额外的线性变换来将多头自注意力机制的输出拼接成最终的输出，有需要H²个参数，总共需要4LH²个参数。由三个线性变换组成，中间有一个非线性激活函数，前两个线性变换将输入从H维映射到H´维度，需要2HH´个参数，最后一个线性变换将输出从H´维映射回H维，需要HH´个参数，总共需要3HH´个参数。词表大小为V，每个单次映射到一个H维的向量，且输入嵌入层只有一层，因此有VH个参数。

提高训练效率由DeepSpeed提出，用于解决数据并行中的模型冗余问题，优化掉不参与训练的部分，提高训练效率，每个GPU只保留部分，需要时再读取，降低显存冗余度。

提升训练过程稳定性、效率、效果等。

Fn+windows键同时按下，然后两边的windows键都试试，具体没发现严格的一步到位的办法，但是多试几次后，解决了。

设计合适的自监督训练任务，使得模型能够从海量五标注数据中学习到广泛的语义知识与世界知识。