贝叶斯网络

最新推荐文章于 2024-08-02 18:11:39 发布

huahuahuahhhh

最新推荐文章于 2024-08-02 18:11:39 发布

阅读量441

点赞数

分类专栏：机器学习文章标签：朴素贝叶斯算法

本文链接：https://blog.csdn.net/Blankit1/article/details/104009896

版权

机器学习专栏收录该内容

26 篇文章 0 订阅

订阅专栏

一、相对熵

1.1 . 名词解释：相对熵，又称交叉熵，Kullback-Leible散度(KL散度)。
1.2. 定义
在这里插入图片描述
1.3. 说明

二、互信息

定义
两个随机变量X和Y的互信息，定义为X,Y的联合分布和独立分布乘积的相对熵
$I (X, Y) = D (P (X, Y) ∣ ∣ P (X) P (Y))$

三、信息增益

定义
信息增益：表示得知特征A的信息而使得数据集D信息不确定性减少的程度
$g (D, A) = H (D) - H (D ∣ A)$

信息增益是数据集D和特征A的互信息
即：
$g (D, A) = I (D, A)$
证明：

左边
$\begin{aligned} g(D,A) &= H(D) - H(D|A)\\ &= H(D)-(H(D,A) - H(A))\\ &= H(D)+ H(A)-H(D,A) \end{aligned}$

右边
$\begin{aligned} H(D,A) &= D(P(D,A)||P(D)P(A))\\ &= \Sigma_{D}\Sigma_{A}P(D,A)log\frac{P(D,A)}{P(D)P(A)}\\ &= \Sigma_{D}\Sigma_{A}P(D,A)logP(D,A)-\Sigma_{D}\Sigma_{A}P(D,A)log(P(D)P(A))\\ &=-H(D,A)+\Sigma_{D}\Sigma_{A}P(D,A)logP(D)+\Sigma_{D}\Sigma_{A}P(D,A)logP(A)\\ &=-H(D,A)+\Sigma_{D}logP(D)\Sigma_{A}P(D,A)+\Sigma_{A}logP(A)\Sigma_{D}P(D,A)\\ &=-H(D,A)+\Sigma_{D}logP(D)P(D)+\Sigma_{A}logP(A)P(A)\\ &=-H(D,A)+H(D)+H(A) \end{aligned}$