![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
技术文章总结
文章平均质量分 57
eryihahaha
这个作者很懒,什么都没留下…
展开
-
推荐系统的特征工程
首先我们对数据的统计值做一个排序,从小到大或从大到小都可以,得到数据的Rank值,然后将Rank值缩放到(-1,1)区间,最后调用erfinv逆误差函数,就可以将变换后的Rank值分布调整为高斯分布。的特征变换,这是因为深度模型一次只能接受一个小批次的样本,无法建模到全局的统计聚合信息,而这些信息通常是十分重要的。,而不是对整个数据集,并且最好采用叶子类目,即最细一层的类目,但如果叶子类目的商品种类太少,回溯一层也是可以的。推荐场景下,用户的统计特征需要先按照用户分组后再做分箱,不建议全局做分箱。转载 2022-09-07 15:07:38 · 240 阅读 · 1 评论 -
多任务学习漫谈(一):以损失之名 by 苏剑林
文章目录多任务损失函数一般形式初始状态先验状态动态调节实时状态理想状态多任务损失函数一般形式如何确定αi\alpha_{i}αi至关重要初始状态去除量纲如果我们将每个损失函数看成具有不同量纲的物理量,那么从“无量纲化”的思想出发,我们可以用损失函数的初始值倒数作为权重,即如何得到Li(init)\mathcal{L}_i^{(\text{init})}Li(init) ,可以考虑使用一个batch计算一下,或者根据分析得出经验初始值,比如,在主流的初始化之下,我们可以认为初始模型(加激活转载 2022-01-18 21:03:10 · 323 阅读 · 0 评论 -
苏神文章总结栏
浅谈Transformer的初始化、参数化与标准化如果不除d\sqrt{d}d的话方差过大,会导致softmax之后接近于one hot,最终导致梯度消失针对多次提到的norm 问题,post norm与pre norm都一般,作者提出使用参数化训练,初始化为0,之后慢慢增加...原创 2021-12-21 22:50:26 · 184 阅读 · 0 评论