【深度学习】L1、L2损失 和 L1、L2正则化

损失函数：

L1损失：

n个样本的平均绝对误差（MAE）：

即，真实值和预测值之间的差值的绝对值的和。

使用L1损失函数，就是最小化MAE。

L2损失：

n个样本的均方误差（MSE）：

即，真实值和预测值之间的差值的平方的和。

 使用L2损失函数，就是最小化MSE。

 

正则化：

L1正则化：即对权重矩阵的每个元素绝对值求和:

L2正则化：即对权重矩阵的每个元素求平方和（先平方，后求和）:

注意：正则化项不需要求平均数，因为权重矩阵和样本数量无关，只是为了限制权重规模。