CTR预估中模型设计
KL散度与交叉熵
定义 log(1/p) 为香农信息量
定义熵为香农信息量的期望 即E(pi)=∑ipilog(1/pi)
我们都知道 在机器学习中我们要做的就是通过目标函数拟合数据真实分布
定义 数据的真实分布为p ,我们的目标函数拟合的数据分布为q
举例说明:
若包含四个字母(A,B,C,D)的数据集中 其真实分布为(1/2,1/2,0,0) 通过计算E(pi)=1/2log2+1/2log2...
原创
2019-01-07 20:49:08 ·
416 阅读 ·
0 评论