统计学习方法读书笔记-概论

1、基本概念

1> 输入空间、特征空间和输出空间

在监督学习中，将输入和输出可能取值的集合定义为输入空间和输出空间。

每个具体的输入是一个具体的实例，通常由特征向量表示，所有的特征向量存在的空间特征空间。

2>联合概率分布

监督学习假设输入变量X和输出变量Y遵循联合概率分布P(X,Y)，P(X,Y)表示分布函数，监督学习就是学习联合概率分布的具体定义。

3>假设空间

监督学习的目标在于学习一个从输入空间到输出空间的映射，这一映射用模型来表示。模型属于由输入空间到输出空间映射的集合，这个集合就是假设空间。

 

2、统计学习要素

方法=模型+策略+算法

1>模型：

监督学习中，模型就是所要学习的条件概率或决策函数。模型的假设空间包括所有可能的条件概率分布或决策函数

2>策略

统计学习的目标在于从假设空间中获得最优模型，评价模型的指标主要是损失函数

a)损失函数度量模型一次预测的好坏，风险函数度量平均意义下的模型预测的好坏，可以说风险函数是损失函数的数学期望

b)从训练样本中追求风险最小，称为经验风险最小化，有可能能会导致模型的过拟合，泛化能力不足，通过增加惩罚因子，追求结构化风险最小

3>算法：统计学习方法为最优化问题，一般都通过数值计算方法来实现

 

3、生成模型和判别模型

生成方法是由数据学习联合概率分布P(X,Y)，然后给出条件概率分布P(Y|X)作为预测的模型，即：生成模型。典型的生成模型包括：朴素贝叶斯法和隐马尔科夫链

判别方法是直接学习决策函数f（X）或者条件概率分布P(Y|X)作为预测的模型，即：判别模型。典型的判别的模型包括：K近邻法，感知器，决策树，逻辑回归模型、最大熵模型、支持向量机、提升方法和条件顺机场。

 

4、分类、标注和回归

分类就是传统的分类，典型的如决策树

回归预测Y和X关系，典型的是线性回归和逻辑回归

标注问题：标注问题是典型的结构预测问题，比如自然语言处理中的词性标注就是一个标准问题