深度学习理论——目标函数（损失函数）&正则化&交叉验证

大家好，继续理论学习，网络的设置接近了尾声，本次学习目标函数和正则化。

1.目标函数

(1)分类问题中的目标函数

这类问题中最常用的就是交叉熵函数了，即使用了softmax的损失函数。假设共有N个训练样本，针对网络最后分类层第i个样本的输入特征为xi，其对应的真实标记为yi，hi为其网络对应的最终输出，C为分类任务的类别数。有了如上定义，其形式可写为：

其中前面的1/N是一个常数，加不加都一样，后面的累加部分我还看到一个版本是再乘上真实值y。

(2)回归问题中的目标函数

在分类任务中，最后的样本真实标记实际上是一条一维向量，仅在yi处标记为1其余地方均为0。但回归问题的输出就不一样了，也是一条一维向量，但其每一个元素都为实数，而不是仅为二值。

首先介绍残差的概念：即xi真实值和预测值的差

则回归常用的l1，l2目标函数定义如下：(M为标记向量总维度)

2.正则化

我们通常使用正则化来减小过拟合。过拟合顾名思义就是模型过度贴合数据，导致泛化性不强的问题。这种时候，拟合出来的模型可以用很复杂的多项式