损失函数
损失函数(Loss function)又叫做误差函数,用来衡量算法的运行情况.
估量模型的预测值 f (x)与真实值 Y 的不一致程度,是一个非负实值函数,通常使用来表
示,损失函数越小,模型的鲁棒性就越好。
损失函数是经验风险函数的核心部分,也是结构风险函数重要组成部分。
常见的损失函数
损失函数用来评价预测值和真实值不一样的程度。通常损失函数越好,模型的性能也越好。
损失函数可分为经验风险损失函数和结构风险损失函数。经验风险损失函数指预测结果和
实际结果的差别,结构风险损失函数是在经验风险损失函数上加上正则项。
(1)0-1 损失函数
(2)绝对值损失函数
(3)平方损失函数
(4)log 对数损失函数(常用于逻辑回归)
(5)指数损失函数(例 AdaBoost)
(6)Hinge 损失函数
逻辑回归为什么使用对数损失函数
对数损失函数与极大似然估计的对数似然函数本质上是相同的。所以逻辑回归直接采用对数损失函数。
机器学习中梯度下降法
在机器学习中,梯度下降法主要有随机梯度下降法</