【机器学习入门】交叉熵损失函数与MLE准则

0 总结

先放出结论方便查看，细节的推导可以阅读后续章节。

0.1 MLE与交叉熵

MLE准则导出的损失函数与交叉熵损失函数等价，如下：
$$J(\theta \text{θ}\theta )=-{\mathbb{E}}_{x\text{x}x,y\text{y}y\sim P_{data}}[log{P}_{model}(y\text{y}y|x\text{x}x;\theta \text{θ}\theta )]$$
监督学习是给定输入$x\text{x}x$（样本）和输出$y\text{y}y$（标签）来对模型进行训练的一个过程。

• 从最大似然估计准则的角度看，这个过程可以看成是对条件概率$P(Y|X;\theta \text{θ}\theta )$的一个最大似然估计过程。
• 从相对熵和交叉熵的角度看，这个过程可以看成调整$Q(X)$使其逼近$P(X)$的过程，而$H(P,Q)$的最小值就是$H(P)$，那么我们对交叉熵$H(P,Q)$进行最小化而获得的$Q(X)$则应该能够很好逼近$P(X)$。

详见第4节

0.2 交叉熵损失函数具体形式

下列符号中：$N$为样本数，$M$为类别数

1.线性回归问题

$$\begin{array}{rl}J(\theta \text{θ}\theta )& =-{\mathbb{E}}_{x\text{x}x,y\text{y}y\sim P_{data}}[log{P}_{model}(y\text{y}y|x\text{x}x;\theta \text{θ}\theta )]\\ & =\frac{1}{N}||y\text{y}y-\hat{y}\text{y^}\hat{y}|{|}_2^2\end{array}$$

2.logistic回归（二分类问题）

$$J(\theta \text{θ}\theta )=\frac{1}{N}\sum _{i=1}^N-y_{i}log\widehat{y_i}-(1-y_i)log(1-\widehat{y_i})$$其中：

• $y_i$为0或1，若类别为A则为1，类别为B则为0
• $\widehat{y_i}$为模型输出的将样本分类为A的概率，则$(1-\widehat{y_i})$为分类成B的概率，$\widehat{y_i}={\sigma }_{sigmoid}({\theta \text{θ}\theta }^T{x}_i\text{xi}{x}_i+b)$

3.多分类问题

$$J(\theta \text{θ}\theta )=-\frac{1}{N}\sum _{i=1}^N\sum _{j=1}^M{y}_{i,j}log{\hat{y}}_{i,j}$$其中：

• $y_{i,j}$为0或1，若类别$j$符合样本$i$则取值为1，不符合则为0
• ${\hat{y}}_{i,j}$为模型输出的将样本$i$分类为类别$j$的概率，${\hat{y}}_{i,j}={\sigma }_{softmax}([{\theta \text{θ}\theta }^T{x}_i\text{xi}{x}_i+b\text{b}b{]}_j)$
• $[{\theta \text{θ}\theta }^T{x}_i\text{xi}{x}_i+b\text{b}b{]}_j$为输出层的第$j$个输出，可解释作分类为类别$j$的对数概率

1 最大似然估计MLE

1.1 似然函数与对数似然函数

给定一个概率分布$P(x)$，假设该分布由某组参数$\theta \text{θ}\theta$确定，那么该概率分布可以写成$P(x;\theta \text{θ}\theta )$的形式。

• 将参数$\theta \text{θ}\theta$固定，将$x$看作变量，则$P(x;\theta \text{θ}\theta )$称为概率分布，可以看作是在参数$\theta \text{θ}\theta$取到某组具体值的情况下的具体概率分布。
• 将$x$固定，将$\theta$看作变量，则$L(\theta \text{θ}\theta )=P(x;\theta \text{θ}\theta )$称为似然函数。似然函数可以看作是在数据$x$已经被获取的情况下，参数$\theta$在不同取值的情况下$x$发生的概率。

对于一组独立同分布的数据$x\text{x}x=(x_1,x_2,...,x_n{)}^T$，其联合分布通常可以写成连乘的形式： L ( θ ) = P ( x ; θ ) = ∏ i = 1 n P ( x i ; θ ) L(\pmb\theta)=P(\pmb{x};\pmb\theta)=\prod_{i=1}^{n}P(x_i;\pmb\theta) L(θθθ)=P(