本文详细介绍了机器学习中的几种重要损失函数，包括0-1损失函数、log对数损失函数（logistic回归）、Hinge损失函数（SVM）和指数损失函数（Adaboost），以及平方损失函数（最小二乘法）。每个损失函数都阐述了其定义、作用及在相应模型中的应用，旨在帮助读者深入理解模型预测效果的度量标准。
在统计学习中，当有了模型的假设空间，则需要考虑通过什么样的准则学习或选择最优的模型，然而需要引入损失函数与风险函数的概念。
损失函数是度量模型一次预测的好坏；
风险函数是度量平均意义下模型预测的好坏；
0-1损失函数：
使用0-1损失函数时，实质就是通过比较预测值与真实值的符合是否相同；
log对数损失函数（logistic回归）
log损失函数的标准形式：
在logistic回归中，首先假设样本服从伯路利分布(0-1)，然后求取该分布的极大似然估计，在求取极大似然估计的时候对函数进行取对数。
利用已知的样本分布，找到最优可能导致这种分布的参数值w；
上文中提到的
又因为log函数是单调递增的函数，所以log P(Y|X)同样会取到最大值，然而加负号，意味着可以取到最小值；
在logistic分布中；X的分布函数和密度函数为:
最低0.47元/天 解锁文章
扫一扫
8万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
