深度学习
谷禾水
多年挖坑,放火,填坑,线上救火经验。
展开
-
信息论——熵——交叉熵
交叉熵:交叉熵:主要用于度量两个概率分布间的差异性,交叉熵是表示两个概率分布p、q,其中p表示真实概率,q表示非真实概率。公式:H(p,q)=∑ipilog(1qi)H(p,q)=\sum_{i} p_ilog(\frac{1}{q_i})例:一支小组4个球队(a、b、c、d),出现的概率分别为pip_i=(12\frac{1}{2},14\frac{1}{4},18\frac{1}{8},18\f原创 2018-03-27 08:20:51 · 903 阅读 · 0 评论 -
信息论——熵——信息熵
信息熵:信息熵:又被称为香农熵,因为是香农将人力学的熵引入到信息论。公式:H(X)=−∑i=1np(xi)log2p(xi)H(X)=−∑i=1np(xi)log2p(xi)H(X)=-\sum_{i=1}^n p(x_i)log_2p(x_i) 注:因为概率为小数,所以负号的目的是将log运算的结果变为正数。 或者 H(X)=∑i=1np(xi)log2p(1xi)H(X)=∑...原创 2018-03-27 08:53:48 · 1699 阅读 · 0 评论 -
信息论——熵——相对熵
相对熵:相对熵:又称KL散度(Kullback–Leibler divergence),是描述俩个概率分布P和Q差异的一种方法。公式:DKL(P||Q)=−∑iP(i)logQ(i)P(i)DKL(P||Q)=−∑iP(i)logQ(i)P(i)D_{KL}(P||Q)=-\sum_iP(i)log\frac{Q(i)}{P(i)} DKL(P||Q)=∑iP(i)logP(i)...原创 2018-03-28 07:24:44 · 2177 阅读 · 0 评论