文章目录
一、机器学习的三个基本要素
1.1、模型
- 线性模型
- 非线性模型
1.2、学习准则
模型f(x;θ)的好坏可以通过期望风险R(θ)(损失函数的期望) 来衡量
1.2.1 损失函数
损失函数是一个非负实数函数，用来量化模型预测和真实标签之间的差异。
0-1损失函数
模型在训练集上面的错误率
平方损失函数
用于预测标签y为实数值的任务中，一般不适用于分类问题（最小二乘法）
交叉熵损失函数
一般用于分类问题（负对数似然函数）
hinge损失函数
一般用于分类问题
1.2.2 风险最小化准则
一个好的模型应该有较小的期望错误。
经验风险最小化
由于不知道真实数据分布和映射函数，实际上无法计算其期望风险。但可以计算经验风险（在训练集上的平均损失）。一个确实可行的学习准则是找到一组参数θ*使得经验风险最小，即：
由于训练样本比较少，不能反映全部数据的真实分布。经验风险最小化准则很容易导致模型在训练集上错误率很低，但在未知数据上错误率很高（过拟合）。
结构风险最小化
为解决过拟合问题，一般在经验风险最小化的基础上再引入参数的正则化来限制模型能力，使其不要过度的最小化经验风险。
扫一扫
8253
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
