统计学习方法1.统计学习方法概论

一、统计方法三要素

模型、策略（损失函数选择）、方法（优化方法 eg:梯度下降）

1.模型

1.1概率模型与非概率模型

2.策略

此节参考链接：link
损失函数（Loss Function）：是定义在单个样本上的，是指一个样本的误差。
代价函数（Cost Function）：是定义在整个训练集上的，是所有样本误差的平均，也就是所有损失函数值的平均。
目标函数（Object Function）：是指最终需要优化的函数，一般来说是经验风险+结构风险，也就是（代价函数+正则化项）。
损失函数对应着单个样本 而此时的对数损失函数类似于极大似然估计 希望能够最小化对数损失函数 又要最大化 p(y|x) 因此取负值
经验风险/平均损失：

关于训练样本集的平均损失
风险函数/ 期望损失：

利用模型和对应的联合分布P(X,Y)进行求解 但P(X,Y)未知 因此无法求解。

经验风险最小化（ERM）:
利用对经验风险的最小化进行模型求解：

结构风险最小化：
经验风险+正则化项

J(f)为模型的复杂度，与模型复杂度成正比。

3.方法

相关的对结构风险/经验风险的优化方法

二、过拟合

模型复杂度低时，欠拟合
模型复杂度高时，过拟合

1、应对过拟合——正则化和交叉验证

正则化：结构风险最小化
交叉验证：

三、泛化误差

具体证明见连接：link

四、生成模型和判别模型

五、分类、回归、标注

分类：y离散分布 分门别类
回归：y连续分布 曲线拟合
标注：
标注问题与分类问题类似。

六、总结

文章引用了书中的大量内容，算是对知识的总结与回顾，希望后续章节自己能够有更多自己的思考。
学而不思则罔，思而不学则殆。