机器学习02——回归问题中的损失函数 （L2损失L1损失Huber损失函数）

回归问题预测中的残差

• 预测残差：真实值和预测值之间的差异： ? = ? − ?1
• 忽略预测残差的正负号：残差的平方：?**2
• 最佳模型：残差平方和(Residual Sum of Squares, RSS )最小

L2损失函数：

• 在机器学习中，我们用损失函数（loss function）度量样本真实值与模型预测值之间差异
• 当损失函数取残差平方时，我们称之为L2损失，记为：

•目标函数：最小训练集上的损失（经验风险最小）

• L2损失处处可导，优化计算方便（参见优化计算小节），但对噪声敏感

L1损失函数：

• 当损失函数取残差绝对值时