统计学习方法学习记录6-CSDN博客

本文链接：https://blog.csdn.net/2301_77666509/article/details/142108983

第一章统计学习方法概论

1.1统计学习

统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科。统计学习也称为统计机器学习。

统计学习的对象是数据，它从数据出发，提取数据的特征，抽象出数据的特征，抽象出数据的模型，发现数据中的知识，又回到对数据的分析与预测中去。

统计学习总的目的是考虑学习怎么样的模型和如何学习模型，以使模型对数据进行准确的预测与分析同时也要考虑尽可能提高学习效率。

统计学习的方法是基于数据构建统计模型从而对数据进行预测与分析，统计学习由监督学习，非监督学习，半监督学习和强化学习等组成。

统计学习方法包括模型的假设空间、模型选择的准则以及模型学习的算法，统称为统计学习方法的三要素，简称模型、策略、算法。

1.2监督学习

监督学习的任务是学习一个模型，使模型能够对任意给定的输入，对其相应的输出做出一个好的预测。

1.2.1基本概念

输入空间&输出空间：输入与输出所有可能取值的集合。输出空间远远小于输入空间。

特征空间：每个具体的输入是一个实例，通常由特征向量表示，所有特征向量存在的空间称为特征空间。

联合概率分布：输入与输出的随即变量X和Y遵循联合概率分布P(X,Y)，表示分布函数或分布密度函数。

假设空间：模型属于由输入空间到输出空间的映射的集合。

1.2.2问题的形式化

监督学习分为学习和预测两个部分。在学习过程中，学习系统利用给定的训练数据集，通过学习得到一个模型，表示为条件概率分布 $\hat{P}(Y|X)$ 或决策函数 $Y=\hat{f}(X)$ ，条件概率分布 $\hat{P}(Y|X)$ $\hat{P}(Y|X)$ 或决策函数描述输入与输出随机变量之间的映射关系。在预测过程中，预测系统对于给定的测试样本集中的输入 $X_{N+1}$ ，由模型 $y_{N+1}=argmax\hat{P}(y_{N+1}|x_{N+1})$ （表示找到概率最大的y给yn+1)或 $y_{N+1}=\hat{f}(x_{N+1})$ 给出相应的输出 $y_{N+1}$ 。

1.3统计学习三要素

方法=模型+策略+算法

1.3.1模型

监督学习中，模型是所要学习的条件概率或决策函数。模型的假设空间包含所有可能的条件概率分布或决策函数。

1.3.2策略

统计学习的目标在于从假设空间中选取最优模型

损失函数度量模型一次预测的好坏，风险函数度量平均意义下模型预测的好坏。

损失函数和风险函数

损失函数

损失函数的期望

这是理论上模型 f ( X) 关于联合分布 P(X,Y) 的平均意义下的损失，称为风险函数（risk function）或期望损失（expected loss）

学习的目标就是选择期望风险最小的模型。一方面根据期望风险最小学习模型要用联合分布，另一方面联合分布又是未知。

模型关于训练数据集的平均损失称为经验风险或经验损失。

期望风险 Rexp (f ) 是模型关于联合分布的期望损失，经验风险 Remp ( f)是模型关于训练样本集的平均损失．根据大数定律，当样本容量 N 趋于无穷时，经验风险趋于期望风险．所以一个很自然的想法是用经验风险估计期望风险．但是，由于现实中训练样本数目有限，甚至很小，所以用经验风险估计期望风险常常并不理想，要对经验风险进行一定的矫正．这就关系到监督学习的两个基本策略：经验风险最小化和结构风险最小化。

经验风险最小化

当样本容量足够大时，经验风险最小化能保证有很好的学习效果，但是样本容量很小，溶剂造成过拟合。

结构风险最小化（structural risk minimization，SRM）是为了防止过拟合而提出来的策略．结构风险最小化等价于正则化（regularization）。结构风险在经验风险上加上表示模型复杂度的正则化项（regularizer）或罚项（penalty term）。在假设空间、损失函数以及训练数据集确定的情况下，结构风险的定义是