机器学习三要素
- 1.模型:基于统计学习的机器学习首先要考虑的是问题是学习什么样的模型,在监督性学习的过程中,模型就是索要学习的条件概率分布或者决策函数
- 2.策略:有了模型的假设空间,接下来要考虑通过设么样的准则学习或选择最优的模型,这里就要引入损失函数与分显函数的概念。
- 3.损失函数与风险函数:损失函数是度量模型一次学习的好坏,也就是说模型的预测值f(x)与真实值y的差距,通常用L(Y,f(x))来表示大小,当然,损失越小,模型越好(鲁棒性)
常用的损失函数有以下几种
- 0-1损失函数:
:
-
平方损失函数:
3.绝对值损失函数
-
对数损失函数
-
经验风险最小化,当样本足够大时,经验风险最小化能保证有很好的学习效果,比如 极大似然估计就是经验风险最小化的一个例子
-
结构风险最小化,当样本容量很小时,经验风险最小化学习 会产生过拟合现象,因而有了结构风险最小化,是在经验风险上加上表示模型复杂度的正则化项,也叫惩罚项
7.SVM损失函数,也叫Hinge Loss
8.softmax损失函数