原创 2015年07月09日 22:02:38

在理解熵之前,我们先来理解下自信息 I 

自信息:即事件x发生后所含的信息量,或者事件发生前的不确定性。一个事件的自信息越大,其发生后所携带的信息量越大 或 发生前 其不确定性越大,也就是说该事件发生概率越小。 一般将事件x自信息定义为 log(1/P(x))


熵:即总体事件的平均信息量,即自信息的数学期望,


相关文章推荐

tensorflow四种交叉熵的计算

  • 2017年06月06日 17:17
  • 21KB
  • 下载

【机器学习算法-python实现】决策树-Decision tree(1) 信息熵划分数据集

(转载请注明出处:http://blog.csdn.net/buptgshengod)
  • gshengod
  • gshengod
  • 2014年04月24日 07:28
  • 16147

最大熵模型与EM算法

  • 2017年07月17日 14:53
  • 2.78MB
  • 下载

交叉熵代价函数(损失函数)及其求导推导

本文章已收录于: 分类: 机器学习(9) 作者同类文章X •检测率,召回率,mAP,ROC •softmax 带 tempret...

格式中不同类型熵修正性能分析

  • 2015年01月06日 15:34
  • 337KB
  • 下载

基于熵的分类数据聚类算法

  • 2014年12月03日 20:42
  • 277KB
  • 下载

从神经网络视角看均方误差与交叉熵作为损失函数时的共同点

缩写: NN: neural network, 神经网络MSE: Mean Squared Error, 均方误差CEE: Cross Entropy Error, 交叉熵误差.(此缩写不是一个...

差分熵计算

  • 2013年08月06日 17:43
  • 2KB
  • 下载
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:
举报原因:
原因补充:

(最多只允许输入30个字)