图像感知-线性评分

线性评分

线性评分器

评分函数

对于线性分类器，有评分函数：
$f(x_i,W,b)=W{x}_i+b$
$W$为一个$M\ast N$矩阵,$x_i$为$N\ast 1$的矩阵，其中$M$为不同类的种类总数，$N$可以看作一个需要评分的集合中元素的个数，每个类别都相当于用$1\ast N$的矩阵与$N\ast 1$的待评分矩阵相乘再$+b$得到对应类别的评分

损失函数

损失函数（Loss Function），也称为成本函数（Cost Function）或目标函数（Objective Function），是机器学习和深度学习中的一个关键概念。它是用来衡量模型预测与实际观察值之间的差异或误差的函数。在训练机器学习模型时，我们的目标是最小化或最大化损失函数，以使模型能够产生更准确的预测或实现特定的优化目标。

损失函数的选择取决于问题的性质，通常分为以下几种类型：

1. 回归问题的损失函数： 用于处理连续数值的预测问题，常见的损失函数包括均方误差（Mean Squared Error，MSE）、平均绝对误差（Mean Absolute Error，MAE）等。

2. 分类问题的损失函数： 用于处理离散类别的预测问题，常见的损失函数包括交叉熵损失函数（Cross-Entropy Loss）、对数损失函数（Log Loss）等。在多类别分类中，还有softmax交叉熵损失函数等。

3. 神经网络中的损失函数： 在深度学习中，损失函数也用于衡量神经网络的输出与真实标签之间的误差。常见的神经网络损失函数包括均方误差、交叉熵损失函数、对抗生成网络（GAN）中的生成器和判别器损失等。

4. 自定义损失函数： 根据特定问题的需求，研究人员和从业者有时会定义自己的损失函数，以更好地符合问题的特性。

损失函数的选择对模型的性能和训练过程至关重要，因为它直接影响到模型如何学习和调整参数以适应数据。最终的目标是通过优化损失函数来使模型的预测尽可能地接近真实值，以提高模型的性能。在训练过程中，机器学习算法通常使用梯度下降等优化方法来最小化损失函数。

交叉熵损失函数

$$H(p,q)=-\sum _{i=1}^{n}p(x_i)\log (q(x_i))$$

交叉熵损失函数由来

交叉熵是信息论中的一个重要概念，主要用于度量两个概率分布间的差异性。首先我们来了解几个概念。

信息量

信息论奠基人香农（Shannon）认为“信息是用来消除随机不确定性的东西”。也就是说衡量信息量大小就看这个信息消除不确定性的程度。

“太阳从东方升起了”这条信息没有减少不确定性。因为太阳肯定从东面升起。这是句废话，信息量为0。
“六月份下雪了”，这条信息就比较有价值，根据历史统计信息来看，六月份鲜有下雪记录，可知该语句信息量较大。

从上面两个例子可以看出：信息量的大小和事件发生的概率成反比。

由此引出信息量的表示:

$I(x)=-log(P(x))$

其中$P(x)$表示为, 时间$x$的发生概率，这里可能会有质疑，我们知道信息量的大小和事件发生的概率成反比，函数形式为减函数，为什么要表现为对数形式呢？
这里我们需要了解信息量得三个性质：

1.事件发生的概率越低，信息量越大;
2.事件发生的概率越高，信息量越低;
3.多个事件同时发生的概率是多个事件概率相乘，总信息量是多个事件信息量相加。

根据性质3，可以知道使用对数形式可以满足性质需求，因此为表现该形式。

信息熵

信息量度量的是一个具体事件发生所带来的信息，而信息熵则是在结果出来之前对可能产生的信息量的期望——考虑该随机变量的所有可能取值，即所有可能发生事件所带来的信息量的期望。

因此我们可以得到其表现公式为：

$H(X)=-{\sum }_{i=1}^{n}p(x_i)log(p(x{}_i))$

其中$P(x)$表示为, 时间$x$的发生概率

这个函数 $H(X)=-{\sum }_{i=1}^{n}p(x_i)\log (p(x_i))$ 表示的是随机变量 $X$ 的熵（Entropy）。让我来解释一下这个函数的意义和背后的概念：

1. 随机变量 $X$： 随机变量 $X$ 代表一个随机事件或随机现象，它可以取多个可能的值 $x_i$，其中 $i$ 的范围从1到 $n$。这些值可能是不同的观察结果或事件发生的不同情况。

2. 概率分布 $p(x_i)$： 函数中的 $p(x_i)$ 表示随机变量 $X$ 取值为 $x_i$ 的概率。换句话说，它表示每个可能事件发生的概率。

3. 熵 $H(X)$： 熵是一个衡量随机变量不确定性或混乱程度的概念。在信息论中，熵用来衡量一个信息源的不确定性，或者在机器学习中，它可以用来表示一个数据集的混乱度。

   具体来说，对于随机变量 $X$，它的熵 $H(X)$ 由上述公式给出。熵越高，表示随机变量 $X$ 的取值更加不确定或混乱，因为不同的取值都有相对均等的概率。反之，当熵较低时，表示随机变量的取值更加确定，因为某些取值的概率较高，而其他取值的概率较低。

总结来说，熵是一个用来衡量随机变量不确定性的指标。当熵最大化时，表示我们对随机变量的取值知之甚少，而当熵最小化时，表示我们对随机变量的取值有较多的信息。因此，熵在信息理论、统计学和机器学习中有广泛的应用，帮助我们理解数据的不确定性和信息量。

总而言之，信息熵是用来衡量事物不确定性的。信息熵越大，事物越具不确定性，事物越复杂。

相对熵

相对熵，也称为KL散度（Kullback-Leibler Divergence），是一种用于度量两个概率分布之间差异的数学概念。相对熵衡量了一个概率分布相对于另一个分布的“距离”或差异性。通常表示为 $D_{KL}(P||Q)$，其中 $P$ 和 $Q$ 是两个概率分布。
在机器学习中，常常使用$P(x)$来表示样本的真实分布，$Q(x)$来表示模型所预测的分布。
$p(x)$分布的信息熵为：

$H_{pp}(X)=-{\sum }_{i=1}^{n}p(x_i)log(p(x{}_i))$

$q(x)$分布的信息熵为：

$H{}_{pq}(X)=-{\sum }_{i=1}^{n}p(x_i)log(q(x{}_i))$

相对熵为：

$H_{pq}(X)-H_{pp}(X)$

$p(x)$为样本真实分布，$q(x)$为预测分布

具体来说，对于离散型概率分布，相对熵 $D_{KL}(P||Q)$ 的计算方式如下：
$D_{KL}(p||q)$
$=H_{pq}(X)-H_{pp}(X)$
$=-{\sum }_{i=1}^{n}p(x_i)log(q(x{}_i))-[-{\sum }_{i=1}^{n}p(x_i)log(p(x{}_i))]$
$={\sum }_{i=1}^{n}p(x_i)log(p(x{}_i))-{\sum }_{i=1}^{n}p(x_i)log(q(x{}_i))$
$={\sum }_{i=1}^{n}p(x_i)log(\frac{p(x_i)}{q(x^{{}_i})})$

$$D_{KL}(P||Q)=\sum _i^{n}P(i)\log \left(\frac{P(i)}{Q(i)}\right)$$

对于连续型概率分布，相对熵的计算方式也有相应的形式。

比如在一个三分类任务中（例如，猫狗马分类器）,$x_1$ , $x_2$ , $x_3$分别代表猫，狗，马，例如一张猫的图片真实分布$P(X)=[1,0,0]$，预测分布$Q(X)=[0.7,0.2,0.1]$，计算KL散度：

${\sum }_{i=1}^{n}p(x_i)log(\frac{p(x_i)}{q(x^{{}_i})})$
$=p(x_1)log(\frac{p(x_1)}{q(x^{{}_1})})+p(x_2)log(\frac{p(x_2)}{q(x^{{}_2})})+p(x_3)log(\frac{p(x_3)}{q(x^{{}_3})})$
$=1\ast log(\frac{1}{0.7})$
$=0.36$

相对熵具有以下重要性质：

1. 非负性： 相对熵永远都是非负的，即 $D_{KL}(P||Q)\ge 0$。当且仅当两个概率分布 $P$ 和 $Q$ 完全相同时，相对熵才等于零。

2. 不对称性： 相对熵是不对称的，即 $D_{KL}(P||Q)\ne D_{KL}(Q||P)$。这表示改变 $P$ 与 $Q$ 的位置会导致不同的结果。

3. 信息量度量： 相对熵可以解释为用 $Q$ 来编码 $P$ 的信息损失。它度量了使用 $Q$ 来近似 $P$ 时引入的信息损失，因此常用于概率分布的比较和模型选择。

相对熵在信息论、统计学、机器学习等领域中有广泛应用，例如，在概率分布比较、生成模型训练、模型选择和正则化等方面。在机器学习中，最小化相对熵可以用于优化模型的参数，以使其预测的概率分布更接近于真实的概率分布。

交叉熵

首先将KL散度公式拆开：
$D_{KL}(P||Q)$
$={\sum }_{i=1}^{n}p(x_i)log(\frac{p(x_i)}{q(x^{{}_i})})$
$={\sum }_{i=1}^{n}p(x_i)log(p(x{}_i))-{\sum }_{i=1}^{n}p(x_i)log(q(x{}_i))$
$=-H(p(x))+[-{\sum }_{i=1}^{n}p(x_i)log(q(x{}_i))]$

前者$H(p(x))$表示信息熵，后者即为交叉熵

KL散度 = 交叉熵 - 信息熵

交叉熵公式表示为：
$$H(p,q)=-\sum _{i=1}^{n}p(x_i)log(q(x{}_i))$$

在机器学习训练网络时，输入数据与标签常常已经确定，那么真实概率分布$P(x)$也就确定下来了，所以信息熵在这里就是一个常量。由于KL散度的值表示真实概率分布$P(x)$与预测概率分布$Q(x)$之间的差异，值越小表示预测的结果越好，所以需要最小化KL散度，而交叉熵等于KL散度加上一个常量（信息熵），且公式相比KL散度更加容易计算，所以在机器学习中常常使用交叉熵损失函数来计算$loss$就行了。

softmax交叉熵损失函数

softmax交叉熵损失函数（Softmax Cross-Entropy Loss）通常用于多类别分类问题，它是深度学习中常见的损失函数之一。这个损失函数的主要目标是衡量模型的分类输出与实际标签之间的差异，并且帮助模型学习如何更好地预测多个不同类别。

下面详细解释softmax交叉熵损失函数的组成部分和计算方式：

1. Softmax 函数： 首先，对于模型的原始输出（也称为类别分数或 logits），应用softmax函数。Softmax函数的作用是将原始分数转换为类别概率分布，使得每个类别的概率值都在0和1之间，且概率之和为1。Softmax函数的公式如下：

   对于类别 $i$ 的概率 $p_i$ 和原始分数 $z_i$：

   $$p_i=\frac{e^{z_i}}{{\sum }_{j=1}^K{e}^{z_j}}$$

   其中，$K$ 是类别的总数。

2. 独热编码（One-Hot Encoding）标签： 实际的类别标签通常采用独热编码的形式，其中只有一个元素为1，表示真实类别，其他元素都为0。例如，如果有3个类别，第二个类别的独热编码可以表示为 [0, 1, 0]。

3. 交叉熵损失计算： 使用模型的softmax输出概率分布 $p$ 和实际标签的独热编码 $y$ 来计算交叉熵损失。交叉熵损失的公式如下：

   $$L(y,p)=-\sum _{i=1}^K{y}_i\log (p_i)$$

   其中，$K$ 是类别的总数，$y_i$ 是实际标签的第 $i$ 个元素，$p_i$ 是模型的预测概率分布的第 $i$ 个元素。

4. 损失最小化： 模型的目标是通过梯度下降等优化方法来最小化交叉熵损失。最小化损失函数的过程使模型更好地适应训练数据，提高分类性能。

总结来说，softmax交叉熵损失函数的作用是衡量模型的分类预测与实际标签之间的差异，帮助模型学习如何更好地进行多类别分类。通过将模型的输出转换为概率分布并与实际标签比较，这个损失函数促使模型产生更接近真实概率分布的预测，以提高分类准确性。这使得softmax交叉熵损失函数在训练深度学习模型时非常有用。

对数损失函数

对数损失函数是一种特殊情况下的交叉熵损失函数，主要用于二元分类问题。

对数损失通过惩罚错误的分类,实现对分类器的准确度(Accuracy)的量化. 最小化对数损失基本等价于最大化分类器的准确度.为了计算对数损失, 分类器必须提供对输入的所属的每个类别的概率值, 不只是最可能的类别. 对数损失函数的计算公式如下:

$L(Y,P(Y|X))$
$=-logP(Y|X)$
$=-\frac{1}{N}{\sum }_{j=1}^N{\sum }_{i=1}^M{y}_{ij}log(p_{ij})$

其中, $Y$ 为输出变量, $X$为输入变量, $L$ 为损失函数. $N$为输入样本量, $M$为可能的类别数, $y_{ij}$ 是一个二值指标(要么为0，要么为1), 表示类别 $j$ 是否是输入实例 $x_i$的真实类别。 $p_{ij}$ 为模型或分类器预测输入实例 $x_i$ 属于类别 $j$ 的概率.

如果上式$M$为2，则对数损失函数的公式简化为：
$$-\frac{1}{N}\sum _{i=1}^N(y_{i}log(p_i)+(1-y_i)log(1-p_i))$$

极大似然估计(MLE)与交叉熵

给定一个数据集 $D=x_1,x_2,\dots ,x_n$ 和一个参数化的概率分布 $P(x;\theta )$，MLE 估计试图找到参数 $\theta$，使得观察到数据集 $D$ 的概率最大，(在图像感知里D为待测图像的数据集合，$\theta$即为不同的类别， $P(x;\theta )$为在待测图像为$\theta$下的概率)即：

$${\theta }_{\text{MLE}}=\arg \underset{\theta }{\max }(\prod _{i=1}^{N}P(x_i;\theta ))$$

${\theta }_{\text{MLE}}$：这是我们要找到的参数估计，它是使似然函数最大化的参数值。

$\arg {\max }_{\theta }$：这表示我们在参数 $\theta$ 的所有可能值中，寻找使似然函数最大化的那个参数值。换句话说，我们正在寻找一个参数 $\theta$，使得给定数据集中的观测数据出现的概率最大。

${\prod }_{i=1}^{N}P(x_i;\theta )$：这是似然函数，它表示给定参数 $\theta$ 下，观测数据集 $x_1,x_2,\dots ,x_n$ 中每个数据点出现的概率的乘积。也就是说，它是把每个数据点的概率都乘在一起，得到整个数据集出现的概率。

所以，整个公式的含义是在所有可能的参数值 $\theta$ 中，找到一个参数值 ${\theta }_{\text{MLE}}$，使得给定数据集中观测数据的联合概率最大。这就是为什么它称为"最大似然估计"，因为我们正在估计的参数值是使得观测数据出现的似然性最大的值。通常，我们使用这种方法来估计参数，以便我们的模型能够最好地拟合观测数据。

现在，我们可以通过 MLE 来证明它与交叉熵的关系。

首先，考虑最大化似然估计 ${\prod }_{i=1}^{N}P(x_i;\theta )$ 的问题，我们可以通过最大化对数似然来简化问题，因为对数是一个递增函数：
$${\theta }_{\text{MLE}}=\arg \underset{\theta }{\max }(\log \prod _{i=1}^{N}P(x_i;\theta ))$$

然后，将对数转化为求和：
$${\theta }_{\text{MLE}}=\arg \underset{\theta }{\max }(\sum _{i=1}^N\log P(x_i;\theta ))$$

$${\theta }_{\text{MLE}}=\arg \underset{\theta }{\max }(\sum _{i=1}^N\frac{1}{N}\log P(x_i;\theta ))$$

接下来，我们可以将这个问题重新表达为最小化交叉熵，将真实分布 $P(x)$ 视为已知的数据集 $D$ 的分布，而 $Q(x)$ 视为我们的模型 $P(x;\theta )$ 的估计分布：

$${\theta }_{\text{MLE}}=\arg \underset{\theta }{\min }(\sum _{i=1}^N\frac{1}{N}\log \frac{1}{P(x_i;\theta )})$$

已经有以下形式的损失函数：

$${\theta }_{\text{MLE}}=\arg \underset{\theta }{\min }\left(\sum _{i=1}^N\frac{1}{N}\log \frac{1}{P(x_i;\theta )}\right)$$

这个损失函数的每一项都包含了样本 $x_i$ 的对数似然项。大数定律告诉我们，当样本数量 $N$ 趋向于无穷大时，样本均值（平均值）趋向于期望值。在这个情况下，可以将损失函数中的求和项近似为一个期望值。

具体来说，如果 $N$ 足够大，我们可以将损失函数近似为：

$${\theta }_{\text{MLE}}\approx \arg \underset{\theta }{\min }\left(\mathbb{E}\left[\log \frac{1}{P(x;\theta )}\right]\right)$$

其中，$\mathbb{E}$ 表示期望操作。这个近似在实际中非常有用，因为它可以将计算复杂度从对整个数据集求和降低到计算一个期望值，特别是当数据集非常大时。

这个期望值是针对数据分布 $P(x)$ 计算的，它表示在样本足够多的情况下，模型的平均性能，即模型的平均对数似然损失。因此，最大化似然估计问题的目标就是找到能最小化这个期望损失的参数 $\theta$。

需要注意的是，这个近似仅在样本数量足够大的情况下成立，因为大数定律是建立在大样本的统计性质上的。在实际中，通常会使用随机梯度下降等优化算法来估计这个期望损失的最小值，因为计算期望值可能是不可行的，但可以通过采样小批量数据来近似计算。

对比之前的交叉熵公式发现一样:
$$H(p,q)=-\sum _{i=1}^{n}p(x_i)\log (q(x_i))={\mathbb{E}}_{x\sim p(x)}\left[\log \frac{1}{q(x)}\right]$$

左侧部分：

$H(p,q)$ 是 $p(x)$ 和 $q(x)$ 之间的交叉熵，用于衡量两个概率分布之间的差异。它是一个非负值，通常用来评估模型 $q(x)$ 预测或估计与真实分布 $p(x)$ 之间的差距。
右侧部分：

${\sum }_{i=1}^{n}p(x_i)\log (q(x_i))$ 是交叉熵的标准定义，其中 $x_i$ 是概率分布 $p(x)$ 可能的事件，$p(x_i)$ 是事件 $x_i$ 在真实分布 $p(x)$ 下的概率，$q(x_i)$ 是模型 $q(x)$ 对事件 $x_i$ 的预测概率。
这部分的含义是：对于每个可能的事件 $x_i$，我们计算真实分布 $p(x)$ 下的事件 $x_i$ 发生的概率 $p(x_i)$ 乘以模型 $q(x)$ 的预测概率 $q(x_i)$，然后取对数并相加。
右侧部分的第二种表示：

$\mathbb{E}x\sim p(x)\left[\log \frac{1}{q(x)}\right]$ 是交叉熵的另一种表示方式，其中 $\mathbb{E}x\sim p(x)$ 表示在真实分布 $p(x)$ 下取期望。
这种表示的含义是：在真实分布 $p(x)$ 下取期望，即对所有可能的事件 $x$ 求平均，对于每个事件 $x$，计算 $\log \frac{1}{q(x)}$ 的值，然后对这些值求平均。
这两种表示方式是等价的，都描述了两个分布之间的差异，但可能在不同上下文中更方便使用其中一种。交叉熵通常用于测量一个分布（真实分布 $p(x)$）相对于另一个分布（模型分布 $q(x)$）的不确定性或信息损失。