统计学习方法学习笔记1

第一章 统计学习方法概论
1.1
1.统计学习的特点：统计学习是计算机基于数据构建概率统计模型，并运用模型对数据进行预测和分析的一门学科，统计学习也称为统计机器学习。
2.统计学习的对象：数据。关于数据的基本假设是同类数据具有一定的统计规律性。
3.统计学习的目的：对数据进行预测和分析。统计学习总的目标就是学习什么样的模型和如何学习模型。
4.统计学习的方法：监督学习，无监督学习，半监督学习，强化学习等。模型–策略–算法。有限个训练集–》确定所有可能模型的假设空间–》确定模型的准则，即策略，选择一个最优模型–》实现求解最优模型的算法。

1.2 监督学习
1.2.1
1.输入实例的特征向量。

2.多个输入变量中的第i个

3.训练集通常表示为

4.输入变量和输出变量均为连续的为回归问题；输出变量为有限个离散变量的为分类问题；输入变量和输出变量均为变量序列的为标注问题。
5.假设空间：模型属于输入空间到输出空间模型的集合，这个集合就是假设空间。监督学习的模型可以是概率模型，也可以是非概率模型。概率模型：概率分布P(Y|X) 非概率模型：决策函数y=f(x)

1.2.2
1.监督学习分为学习和预测两个过程。

一个具体的模型，如y=f(x)，对于一个输入(x1,y1)，可产生一个f(x1)，y1和f(x1)之间的差异越小越好。

1.3统计学习三要素
统计学习方法=模型+策略+算法
1.3.1 模型
在监督学习过程中，模型就是所要学习的条件概率分布或者决策函数。模型的假设空间包含所有可能的条件概率分布或决策函数。用决策函数表示模型为非概率模型；用条件概率分布表示的模型为概率模型。
1.3.2 策略
有了模型的假设空间，统计学习接着考虑时按照什么样的准则学习或选择最优的模型。统计学习策略所要做的就是在模型假设空间中选择一个最优的模型。
1.损失函数和风险函数
用损失函数来度量训练集中预测值f(X)和真实值Y之间差异，也可以说时预测的错误程度，记作L(Y,f(X))
统计学习常用的损失函数有以下几种：