Dzl.-CSDN博客

原创多任务学习中的每个loss如何平衡？

✅ 本期介绍一种适合“说给面试官听的”多任务调节方法，具体方法如图所示。除此之外，还有一些其他可行的方案，感兴趣的同学可以自行查阅相关资料～模型的整体损失函数一般由各子目标损失函数加权求和得到。因此，合理地调节各个子目标的权重，对于提升整体效果具有重要意义。在推荐系统中，通常需要多目标模型来同时对多个目标进行建模，常见目标如点击率（CTR）、转化率（CVR）、视频播放时长等。》中包含许多校招算法岗面试题以及题解，有需求的同学可以点击链接购买，实现准备效率翻倍。

2025-07-13 16:16:05 270

原创在逻辑回归模型中，有 2 列特征的值完全相同，结束训练后这 2 列特征对应的权重相等么？

2. 如果这两列特征对应权重初始化不同，那模型训练结束后权重就是不同的，但权重的差值保持不变。# 2. 生成标签：使用真权重 [2,2] 和偏置 -0.5 做 logits，再加噪声。# 3. 梯度下降训练（初始化 w=[0,0]、b=1，学习率 0.1）权重初始化相同。# 4. 梯度下降训练（初始化 w=[0,1]、b=1，学习率 0.1）权重初始化不同。1. 如果这两列特征对应权重初始化相同，那模型训练结束后权重就是相同的。结果也证明了我们前面分析得到的结论，即 “若两列特征对应。

2025-06-26 16:15:00 329

原创 Transformer的注意力机制除以根号d的原因详解

很靠近0或1，会让梯度值变得很小，进而出现梯度消失问题。因此，为了使得结果稳定，需要让。是均值为 0、方差为 1 的独立随机变量，那么根据方差的性质，在注意力机制中，注意力分数的计算是通过 Query 矩阵。的值会变得很靠近0或1，容易出现梯度消失问题。的增大而增大，这会导致注意力分数矩阵。这里介绍为什么会出现梯度消失问题，记。维的向量），那么注意力分数矩阵。中的元素值变得很大，那。

2025-06-07 10:11:30 1830

原创推荐系统中的AUC计算方式详解

为指示函数（正样本预测值大于负样本时为 1，否则为 0）。实际在计算时，如果正样本预测值等于负样本时，值为0.5。对于桶内的正序对，分桶法近似计算为桶内正负样本对数的一半，即。：将预测值分桶，统计每个桶内的正负样本数，近似计算 AUC。遍历所有正负样本对，统计正样本预测值高于负样本的次数。通过排序预测值，利用正样本的排名和计算 AUC。个正样本，假设和该正样本组成正序对的数量为。：将所有样本按预测值从低到高排序。）的负样本构成正序对的数量为。个正样本，与所有之后的桶（为模型对样本的预测分数。

2025-05-28 16:00:05 1578