机器学习
可姆可汗
USTC CS
展开
-
熵——信息的度量
目录熵的定义条件熵互信息交叉熵(相对熵)熵的定义熵的定义式为:H(X)=−∑x∈XP(x)logP(x)H(X) = -\sum_{x\in X} P(x) \log P(x)H(X)=−x∈X∑P(x)logP(x)单位为比特。从公式意义上来说,变量的不确定性越大,熵也就越大。下面我来证明当所有取值的概率相同时,熵最大。首先假设变量X只有两个取值,概率分别为p1p_1p1,p2p_2p2。H(X)=p1logp1+(1−p1)log(1−p1)H(X)=p_1 \log原创 2020-07-15 23:14:11 · 1105 阅读 · 1 评论 -
机器学习好文链接
如何理解协方差矩阵序列最小优化算法(SVM)最大熵原理与最大熵模型原创 2020-05-18 15:59:11 · 96 阅读 · 0 评论