优化网络-----常用的损失函数

如何优化网络
首先我们知道，卷积神经网络有前向传播和反向传播组成
前向传播是搭建网络结构的，反向传播是优化网络的训练参数的
那么，优化网络有哪些方面？
优化分为四个方面：损失函数的优化、学习率的优化、滑动平均ema、正则化等
损失函数的优化：测量预测值和真实值之间的距离，优化的目标就是使loss最小。
常见的损失函数分为：均方误差（MSE），交叉熵损失等
均方误差（MSE）：该统计参数是预测数据和原始数据对应点误差的平方和的均值。

一、0-1loss

只是简单的分类，正确为1，错误为0，不能对x进行求导，因此不能用于反向传播。

二、交叉熵损失

交叉熵是用来描述两个分布的距离的，神经网络训练的目的就是使 g(x) 逼近 p(x)
首先，根据香农理论，熵代表信息量，上越高，信息量越大。
交叉熵损失中，loss的大小完全取决于分类为正确标签的那一类的概率，当所有样本都分类正确时，loss=0，否则loss大于0.
交叉熵能够衡量同一个随机变量中的两个不同概率分布的差异程度，在机器学习中就表示为真实概率分布与预测概率分布之间的差异。交叉熵的值越小，模型预测效果就越好。

交叉熵在分类问题中常常与softmax是标配，softmax将输出的结果进行处理，使其多个分类的预测值和为1，再通过交叉熵来计算损失