2021-07-23 深度学习基础与实践（六）

最新推荐文章于 2024-09-05 22:23:26 发布

YYF_Tommy

最新推荐文章于 2024-09-05 22:23:26 发布

阅读量369

点赞数

分类专栏：深度学习 & 机器学习文章标签：信息熵机器学习深度学习

本文链接：https://blog.csdn.net/m0_58286935/article/details/118977650

版权

本文深入探讨了信息熵的概念，包括信息熵、交叉熵、相对熵（KL散度）、JS散度、联合熵、条件熵和互信息，并提供了文氏图的图解。此外，还讲解了反向传播中梯度计算的重要性，通过实例解释了sigmoid函数和矩阵相乘的梯度计算过程。

摘要由CSDN通过智能技术生成

今天再来介绍一些概念性知识

一、信息熵

信源信息的不确定性函数 $f$ 通常满足两个条件：
1. 是概率 $p$ 的单调递减函数
2. 两个独立符号所产生的不确定性应等于各自不确定性之和，即 $f(p_1,p_2) = f(p_1) + f(p_2)$
对数函数同时满足这两个条件： $log\frac{1}{p} = -logp$
信息熵：要考虑信源所有可能发生情况的平均不确定性。若信源符号有n种取值： $U_1,..,U_i,...,U_n$ ，对应概率为 $p_1,...,p_i,...,p_n$ ，且各种出现彼此独立。此时信源的平均不确定性应当为单个符号不确定性 $log p_i$ 的统计平均值(E)，称为信息熵，即 $p_i] = -\sum_{i = 1}^{n}{p_i logp_i} = \sum_{i = 1}^{n} p_i log(\frac{1}{p_i})$

关注

专栏目录