《统计学习方法》学习笔记之第一章：统计学习方法概论

最新推荐文章于 2022-04-17 10:11:38 发布

li_il

最新推荐文章于 2022-04-17 10:11:38 发布

阅读量488

点赞数

分类专栏：机器学习

本文链接：https://blog.csdn.net/li_l_il/article/details/96703987

版权

机器学习专栏收录该内容

1 篇文章 0 订阅

订阅专栏

1.1 统计学习

1. 统计学习关于数据的基本假设是同类数据具有一定的统计规律性，这是统计学习的前提

2. 统计学习主要分为：

监督学习（supervised learning）
非监督学习（unsupervised learning）
半监督学习（semi-supervised learning）
强化学习（reinforcement learning）

3. 本书主要讨论监督学习，这种情况下统计学习的方法可以概括如下：从给定的、有限的、用于学习的训练数据（training data）集合出发，假设数据是独立同分布产生的；并且假设要学习的模型属于某个函数的集合，称为假设空间（hypothesis space）；应用某个评价准则（evaluation criterion），从假设空间中选取一个最优的模型，使它对已知训练数据及未知测试数据（test data）在给定的评价准则下有最优的预测；最优模型的选取由算法实现。

独立同分布：指随机过程中，任何时刻的取值都为随机变量，如果这些随机变量服从同一分布，并且互相独立，那么这些随机变量是独立同分布。

4. 实现统计学习方法的步骤如下：

得到一个有限的训练数据集合；
确定包含所有可能的模型的假设空间，即学习模型的集合；
确定模型选择的准则，即学习的策略；
实现求解最优模型的算法，即学习的算法；
通过学习方法选择最优模型；
利用学习的最优模型对新数据进行预测或分析

5. 统计学习学科在科学技术中的重要性主要体现在以下几个方面：

统计学习是处理海量数据的有效方法。
统计学习是计算机智能化的有效手段。
统计学习是计算机科学发展的一个重要组成部分。（可以认为计算机科学由三维组成：系统、计算、信息。统计学习主要属于信息这一维，并在其中起着核心作用）

1.2 监督学习

1. 输入空间（input space）与输出空间（output space）：输入与输出所有可能取值的集合

输入与输出空间可以是有限元素的集合，也可以是整个欧氏空间
每个具体的输入是一个实例（instance），通常由特征向量（feature vector）表示。这时，所有特征向量存在的空间称为特征空间（feature space）。
- 特征空间的每一维对应于一个特征。
- 模型实际上都是定义在特征空间上的。
输入、输出变量用大写字母表示，习惯上输入变量写作X，输出变量写作Y。输入、输出变量所取的值用小写字母表示，输入变量的取值写作x，输出变量的取值写作y。

2. 根据输入、输出变量的不同类型，对预测任务给予不同的名称

输入变量与输出变量均为连续变量的预测问题称为回归问题；
输出变量为有限个离散变量的预测问题称为分类问题；
输入变量与输出变量均为变量序列的预测问题称为标注问题。

3. 假设空间（hypothesis space）：监督学习的目的在于学习一个由输入到输出的映射，这一映射由模型来表示。换句话说，学习的目的就在于找到最好的这样的模型。模型属于由输入空间到输出空间的映射的集合，这个集合就是假设空间。

假设空间的确定意味着学习范围的确定。

1.3 统计学习三要素

1. 统计学习方法的三要素：模型、策略和算法。

构建一种统计学习方法就是确定具体的统计学习三要素。

2. 模型

在监督学习过程中，模型就是所要学习的条件概率分布或决策函数。
假设空间可以定义为决策函数的集合
我们可以将假设空间看为一个由参数向量决定的函数族
- 参数向量：设决策函数为Y=a0+a1X，则每个具体的决策函数由向量θ=（a0，a1）决定。θ即为参数向量。
- θ取值于n维欧式空间Rn

3. 策略

策略就是决定按照什么样的准则学习或选择最优的模型。
损失函数度量模型一次预测的好坏，风险函数度量平均意义下模型预测的好坏。
损失函数和风险函数
- 理论上，模型f(x)关于联合分布P(X,Y)的平均意义下的损失，称为风险函数或期望损失，记作Rexp。
  - 我们的目标就是选择期望风险最小的模型
- 实际上，即模型关于训练集的平均损失称为经验风险或经验损失，记作Remp。
- Rexp是模型关于联合分布的期望损失，经验风险Remp(f)是模型关于训练样本集的平均损失。
经验风险最小化和结构风险最小化：结构风险最小化就是在经验风险上加上表示模型复杂度的正则化项或罚项。
算法：算法是指学习模型的具体计算方法。