深度学习数学基础 熵？

信息论-熵

• 信息熵
  信息熵，可以看作是样本集合纯度一种指标，也可以认为是样本集合包含的平均信息量，信息熵越小，蕴含的粗确定性越小
• 联合熵
  两个随机变量X和Y的联合分布可以形成联合熵，度量二维随机变量XY的不确定性
• 条件熵
  在随机变量X发生的前提下，随机变量Y发生带来的熵，定义为Y的条件熵，用H(Y|X)表示
  条件熵用来衡量在已知随机变量X的条件下，随机变量Y的不确定。 熵、联合熵和条件熵之间的关系：H(Y|X) = H(X,Y)-H(X)H(Y∣X)=H(X,Y)−H(X)
• 互信息
  
• 相对熵
  相对熵又称KL散度，是描述两个概率分布P和Q差异的一种方法，记做D(P||Q)。在信息论中，D(P||Q)表示用概率分布Q来拟合真实分布P时，产生的信息表达的损耗，其中P表示信源的真实分布，Q表示P的近似分布。
  
• 交叉熵