2021-07-23 深度学习基础与实践(六)
深度学习基础与实践(六)一、信息熵1.信息熵2.交叉熵3.相对熵KL散度4.JS散度5.联合熵6.条件熵7.互信息8.文氏图图解二、反向传播中的梯度三、感知机(Perceptron)今天再来介绍一些概念性知识一、信息熵热力学中的熵: 是表示分子状态混乱程度的物理量信息论中的熵:用来描述信源的不确定性的大小经常使用的熵概念有下列几种:信息熵交叉熵相对熵条件熵互信息1.信息熵信源信息的不确定性函数fff通常满足两个条件:是概率ppp的单调递减函数两个独立符号所产生的不确定性







