统计学习方法：第一章 统计学习及监督学习概论

第一章 统计学习及监督学习概论

监督学习是从标注数据中学习模型的机器学习问题，是统计学习或机器学习的重要组成部分。

1.1 统计学习

统计学习包括：监督学习、非监督学习、半监督学习、强化学习

统计学习 (statistical learning) 是关千计算机基千数据构建概率统计模型并运用模型对数据进行预测与分析的一 门学科。 统计学习也称为统计机器学习 (statistical machine learning)。

统计学习方法可以概括如下：

A.从给定的、有限的、用千学习的训练数据 (training data) 集合出发

B.假设数据是独立同分布产生的；

C.假设要学习的模型属千某个函数的集合，称为假设空间 (hypothesis space)

D.应用某个评价准则 (evaluation criterion)(损失函数)，从假设空间中选取一个最优模型，使它对已知的训练数据及未知的测试数据，在给定的评价准则下有最优的预测

E.最优模型的选取由算法实现。

统计学习方法包括模型的假设空间、模型选择的准则以及模型学习的算法。称其为统 计学习方法的三要素，简称为模型(model)、策略(strategy)和算法(algorithm)。

实现统计学习方法的步骤如下：

(1)得到个有限的训练数据集合；

(2) 确定包含所有可能的模型的假设空间，即学习模型的集合；

(3) 确定模型选择的准则，即学习的策略；

(4) 实现求解最优模型的算法，即学习的算法；

(5) 通过学习方法选择最优模型；

(6) 利用学习的最优模型对新数据进行预测或分析。

1.2 统计学习的分类

1.2.1 基本分类

统计学习或机器学习一般包括监督学习、无监督学习、强化学习。有时还包括半监督学习、主动学习。

1、监督学习

监督学习(supervised learning)是指从标注数据中学习预测模型的机器学习问题。标注数据表示输入输出的对应关系，预测模型对给定的输入产生相应的输出。监督学习的本质是学习输入到输出的映射的统计规律。

(1)输入空间、特征空间和输出空间

PS：有时输入空间和输出空间不做区分

输入空间：将输入所有可能取值的集合分别称为输入空间

输出空间：将输出所有可能取值的集合分别称为输出空间，但通常输出空间远远小于输入空间。

特征空间:每个具体的输入是一个实例 (instance) ，通常由特征向瘟 (feature vector) 表示。这时，所有特征向量存在的空间称为特征空间 (feature space) 。特征空间的每一维对应一个特征。

(2)联合概率分布：监督学习假设输入与输出的随机变量X和Y遵循联合概率分布P(X,Y)。P(X,Y)表示分布函数，或分布密度函数。

(3)假设空间：监督学习的目的在于学习一个由输入到输出的映射， 映射由模型来表示。换句话说， 学习的目的就在于找到最好的这样的模型。

模型属于由输入空间到输出空间 的映射的集合，这个集合就是假设空间 (hypothesis space) 。假设空间的确定 意味着 学习的范围的确定 。监督学习的模型可以是概率模型或非概率模型，由条件概率分布P(YIX)或决策函数 (decision function) Y = f (X)表示，

(4)问题的形式化

2.无监督学习

无监督学习的本质是学习数据中的统计规律或潜在结构

对数据的聚类、降维或概率估计

无监督学习(unsupervised learning)是指从无标注数据中学习预测模型的机器 学习问题。无标注数据是自然得到的数据， 预测模型表示数据的类别、转换或概率。

每一个输出是对输入的分析结果，由输入的类别、转换或概率表示。模型可以实现对数据的聚类、降维或概率估计。

机器学习-无监督学习概论

https://zhuanlan.zhihu.com/p/94614824

3.强化学习

智能系统在于环境的连续互动中学习最优行为策略的问题，具体思想参看以下文章

https://zhuanlan.zhihu.com/p/53907806

4.半监督学习和主动学习

1. 半监督是有少量标注信息，主地学习是机器给实例教师打标签，二者都更接近监督学习