联合概率:表示两个事件共同发生的概率。A与B的联合概率表示为P(AB) 或者P(A,B),或者P(A∩B)。
条件概率 示例:就是事件A在另外一个事件B已经发生条件下的发生概率。条件概率表示为P(A|B),读作“在B条件下A的概率”。
信息描述不确定性
1. 自信息量
信息的定义
局限性:必须建立一个概率模型
图一:
联合自信息量:
如图一第三个式子
求解联合自信息量的关键是求解联合概率
条件自信息量:
如图一第二个式子
自信息量的性质:
可加性:
互信息量:
2.信息熵
定义:
熵性质:
1.对称性:
2.
KL散度(相对熵):
kl散度>=0
kl散度不能看作是不同分布间的距离,因为不对称,书上俩个图之间距离明显不一样
用来衡量近似分布q和真实分布q之间的信息量差距
交叉熵:(主要看链接的交叉熵以及为何以交叉熵做为loss)
链接: link.