(1)交叉熵损失函数
蔡杰:简单的交叉熵,你真的懂了吗?zhuanlan.zhihu.com1.1信息量
一条信息的信息量大小和他的不确定性有很大的关系,需要很多外部信息才能确定的信息,我们称之为这计划的信息量很大。
我们将事件x0的信息量定义如下,(其中p(x0)表示事件x0发生的概率:则信息量定义为:
1.2熵的概念
信息量是针对单个事件来说的,但是一件事有多种发生的可能,掷色子可能就有六种情况发生。因此熵表示的的是随机变量不确定的度量,是对所有可能事件产生的信息量的期望。
(1)交叉熵损失函数
蔡杰:简单的交叉熵,你真的懂了吗?zhuanlan.zhihu.com1.1信息量
一条信息的信息量大小和他的不确定性有很大的关系,需要很多外部信息才能确定的信息,我们称之为这计划的信息量很大。
我们将事件x0的信息量定义如下,(其中p(x0)表示事件x0发生的概率:则信息量定义为:
1.2熵的概念
信息量是针对单个事件来说的,但是一件事有多种发生的可能,掷色子可能就有六种情况发生。因此熵表示的的是随机变量不确定的度量,是对所有可能事件产生的信息量的期望。