机器学习实战(基于scikit-learn和TensorFlow)学习心得(24)--CROSS ENTROPY 交叉熵和logit

1. logit

logit又称为log-odds,odds又译为胜算.他的含义是事件发生的概率与事件不发生的概率之比

如果一个事件发生的概率是p,那么不发生的概率就是1-p.则这个事件的odds是p/(1-p)

那么log-odds就是log(p / (1 – p)).

2. CROSS ENTROPY 交叉熵

交叉熵起源于信息论。假设你想每天高效地传输有关天气的信息。如果有八个选项（晴天，下雨等），则可以使用3位二进制对每个选项进行编码，因为2^3 =8。但是，如果你认为几乎每天都晴天，则单独编码“晴天”的效率会更高,我们给晴天编码为0，其他7个选项使用4位二进制编码进行编译(为了区分晴天,这四位二进制编码的开头都得为1,否则当一个0传输过来的时候你不知道他到底代表晴天还是代表剩下的几种天气)。交叉熵衡量的是每个选项实际发送的平均位数。如果你对天气的假设是完美的(假设晴天确实超级多,值得我们用牺牲其他天气的编码size作为交换)，则交叉熵将等于天气本身的熵（即使其有固有的不可预测性）。但是，如果你的假设是错误的(例如，如果经常下雨),则交叉熵将增加一个称为Kullback-Leibler（KL）散度的量。

将两个概率分布p和q之间的交叉熵定义为

没听的太懂对不对?我们看一个例子,该例子转载自Jackon.me

我们希望