【强化学习实战-06（3）】Loss function的理解和mini batch训练的理解

作者：刘兴禄，清华大学博士在读

这部分就是很久之前的一个整理，放过来有时候复习一下。

最重要的一点：

• 优化问题的目标函数，就相当于机器学习或者深度学习中的loss function。

这里有个隐藏的小常识，就是

$$\begin{array}{rl}\min & \sum _{i=1}^N{\left(y_i-y_i^{\mathrm{l}\mathrm{a}\mathrm{b}\mathrm{e}\mathrm{l}}\right)}^2\\ & =\min {\left(y_1-y_1^{\mathrm{l}\mathrm{a}\mathrm{b}\mathrm{e}\mathrm{l}}\right)}^2+\min {\left(y_2-y_2^{\mathrm{l}\mathrm{a}\mathrm{b}\mathrm{e}\mathrm{l}}\right)}^2+\cdots \min {\left(y_N-y_N^{\mathrm{l}\mathrm{a}\mathrm{b}\mathrm{e}\mathrm{l}}\right)}^2\\ & =\sum _{i=1}^N\min {\left(y_i-y_i^{\mathrm{l}\mathrm{a}\mathrm{b}\mathrm{e}\mathrm{l}}\right)}^2\end{array}$$
因此，在最优解的时候，每一个样本$i$对应的${\left(y_i-y_i^{\mathrm{l}\mathrm{a}\mathrm{b}\mathrm{e}\mathrm{l}}\right)}^2$也会同时达到$\min$。这个也是随机梯度下降和mini batch操作正确的原因。

batch_size是个超参数，需要用户自己调参。

机器学习： 全数据集学习一次，更新一次的情形

我们假设有下面一个$12\times 3$的训练数据集，其中每条数据$x_i=(a,b,c)$也就是一行数据，有3个特征。

这数据是一个二分类问题的数据，因此标签(label)是$12\times 1$。

在机器学习中，我们是想让神经网络预测飞常准，也就是们要让我们的预测值$y_i$尽可能接近其label $y_i^{\text{label}}$，因此我们最优化的目标就是 (之所以加平方，是因为如果是一次方，需要加绝对值。二次方则不用，因此方便求导)

$$\min \sum _{i=1}^N{\left(y_i-y_i^{\mathrm{l}\mathrm{a}\mathrm{b}\mathrm{e}\mathrm{l}}\right)}^2$$

在机器学习中，一般把这个目标函数称之为loss function，因此，在机器学习中，我们是叫

$$\text{loss function}=\sum _{i=1}^N{\left(y_i-y_i^{\mathrm{l}\mathrm{a}\mathrm{b}\mathrm{e}\mathrm{l}}\right)}^2$$

所以这里需要注意：

• 优化问题的目标函数，就相当于机器学习或者深度学习中的loss function。

如上图所示，如果是最基本的情况，是我们将全数据集，也就是12个数据，依次喂给神经网络 (我们用$Net(\theta )$表示这个神经网络)，然后得到12个输出，也就是得到12个预测值$y_i,\forall i=1,2,\cdots ,12.$ 最后，我们计算目标函数值，也就是loss，用表达式
$$\text{loss function}=\sum _{i=1}^N{\left(y_i-y_i^{\mathrm{l}\mathrm{a}\mathrm{b}\mathrm{e}\mathrm{l}}\right)}^2=1.58$$
也就是说，在神经网络$Net(\theta )$的参数为$\theta ={\theta }_0$的时候，目标函数值为1.58.

接下来，我们要对目标函数$\text{loss function}={\sum }_{i=1}^N{\left(y_i-y_i^{\mathrm{l}\mathrm{a}\mathrm{b}\mathrm{e}\mathrm{l}}\right)}^2$求导，这里就需要反向传播。

求导之后，我们要进行梯度下降更新神经网络$Net(\theta )$的参数为
θ 1 = θ 0 − α ∇ θ = θ 0 − α d(loss function) d θ = θ 0 − α d ( ∑ i = 1 N ( y i − y i l a b e l )