d541941799的博客

原创 交叉熵下的模型评估，auc还是loss？

交叉熵下的模型评估，auc还是loss？

原创 dnn模型参数调优经验

learning rate调优1）在数据集较小的情况下，nn的learning rate大于embed的learning rate模型的效果会更好，这主要是因为数据集小，模型无法收敛。而nn能更快的拟合数据集，导致效果会好一些；2）在数据充分的情况下，nn的learning rate小于embed的learning rate模型的效果会更好，在稀疏的工业场景下，embed的更新频率一般要低于nn，将embed的learning rate设置大一些会有更好的效果。同时这也是尽量让模型用embeding

原创 深度学习之蒸馏模型

蒸馏模型蒸馏模型的目的是为了将大模型/复杂模型学习到的东西传递给小模型。大模型将学习到的东西浓缩在输出值之中，输出值是一个0~1的概率值，我们称之为soft-target。可以通过设置温度T来调节输出值的分布，T越大得到的soft-target越软（均匀）。很显然假设复杂模型输出的solf target是100%准确的话，以0～1的soft target代替原样本中的[0, 1]这种hard ...

原创 推荐领域常见的dnn模型框架结构

dindin中文名深度兴趣网络，由阿里提出并使用到工业上。din主要解决的问题是multi-hot特征的处理方式。传统的multi-hot特征的处理方式大多都是对多个id embedding求均值作为该multi-hot特征最终对输入。din的思想是根据待预估的对象对multi-hot特征的id embedding进行加权计算均值。以我们在广告上的尝试作为例子对din的网络结构进行介绍。首先我...

原创 多目标学习之esmm

ctr/cvr联合训练是多目标学习的重要应用，在我们的广告推荐中被证实有效；背景：cvr模型训练的数据较少（ctr/cvr），却需要对整个大盘数据进行预估，这个不科学，因此希望能够利用到整个大盘对数据，比如show/ctr对数据；ctr/cvr联合训练将ctr的数据（show/ctr）也合并到cvr训练数据中，训练数据label由原来的二维表示是否转化调整成二维表示是否点击（第一维）和...

原创 特征工程总结

原创 机器学习常见基础概念一

1 信息增益比决策树中信息增益比大的特征优先选择2 基尼系数基决策树中基尼系数小的特征优先选择，和信息增益比刚好相反。尼系数代表了模型的不纯度，基尼系数越小，则不纯度越低，特征越好3 剪枝中的正则化参数α一般来说，α越大，则剪枝剪的越厉害，生成的最优子树相比原生决策树就越偏小。4 鲁棒性鲁棒性/抗变换性（英文：robustness）原是统计学中的一个专门术语，20世纪70年代初开始在控制...

转载 Greenplum优化

尽量选择连接条件作为Distribution Key，如有个SQL：insert into tablec (auction_id,….) select * from tablea left join talbeb on tablea.selid=tablec.id;优化前耗时120秒，优化方式：将tablea的Distribution Key 改为selid，tableb的改为id，tablec的...