统计学习方法笔记（一）概论

第一章主要是梳理了机器学习整体的框架和脉络结构，并对一些概念进行了详细的解释。本文整理了第一章主要介绍的概念。

1.统计学习方法包括模型的假设空间，模型选择的准则以及模型学习的算法。简称为模型、策略和算法。是统计学习方法的三要素。方法=模型+策略+算法

模型

2.监督学习的模型可以是概率模型或非概率模型，由条件概率分布P(Y|X)或决策函数Y=f(X)表示，随具体学习方法而定。

策略

3.风险函数（或期望损失）是理论上模型f(X)关于联合分布P(X,Y)的平均意义下的损失。Rexp(f)  =  Ep[L(Y,f(X)]  = ∫@(X×Y) L(y,f(x))P(x,y)dxdy.

4.由于联合概率是未知的，Rexp(f)不能直接计算。 

5.引入关于训练数据集平均损失：经验风险 Remp(f) = 1/N∑L(yi,f(xi)).

6.当模型是条件概率分布，损失函数是对数损失函数时，经验风险最小化就等价于极大似然估计。（？？如何证明？求偏导为0的极值点？）

7.结构风险在经验风险上加上表示模型复杂度的正则化项或罚项：Rsrm(f) = 1/N∑L(yi,f(xi)) + λL(f).

算法

8.统计学习算法即根据学习策略与模型求解最优模型的算法。可以利用已有的最优化算法，也可开发独自的最优化算法。

交叉验证

9.简单交叉验证：随机将数据集分为训练集，验证集和测试集。选择对验证集有最小测试误差的模型

10.S折交叉验证：随机切分S个互不相交的子集，利用S-1个子集训练，剩下的测试。选择S次评测中平均测试误差最小的模型

11.留一交叉验证：S=N时的S折交叉验证。