机器学习:损失函数、代价函数、目标函数

一、损失函数、代价函数和目标函数

  • 损失函数:单个样本误差
  • 代价函数:所有样本误差平均值
  • 目标函数:代价函数+正则项

二、各模型的损失函数

1.线性回归:平方损失函数
误差符合正态分布
利用“最小二乘法”使点到线的距离和最短
在这里插入图片描述
2.逻辑回归:对数损失函数
极大似然估计的思想
误差符合sigmoid伯努利分布
在这里插入图片描述
其中yi表示正样本的概率
在这里插入图片描述
softmax损失函数是逻辑回归损失函数的一种推广(误差服从指数分布)
在这里插入图片描述
3.SVM:Hinge损失函数

  • 当分类正确时,不惩罚(t≥1)
  • 当分类不完全正确时,进行部分惩罚(0<t<1)
  • 主要集中分类错误部分,(t<0)
  • 从而极大化分类间隔

在这里插入图片描述
4.Adaboost:指数损失函数
yi使标签值,取值范围是(-1,1)
在这里插入图片描述
5.感知机
(1)优点:稳定的分类面
(2)缺点:二阶不可导,有时候不存在唯一解
在这里插入图片描述
6.决策树
在这里插入图片描述

  • ∣T∣:误差大小

  • α:模型的复杂度,用叶节点数目表示,防止过拟化

  • Ht(T)表示叶子节点t的熵的期望,决策树的叶子节点集合为T
    在这里插入图片描述

  • t叶子节点总的熵是Nt*Ht(T)

已标记关键词 清除标记
©️2020 CSDN 皮肤主题: 编程工作室 设计师:CSDN官方博客 返回首页