统计学习方法概论（一）

本系列文章只是对机器学习的入门课程《统计学习方法》（李航）做一个知识精简

1.1统计学习

 

1.统计学习（statistical learning）是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测和分析和一门学科。统计学习也称为统计机器学习（statistical machine learning）.

2.主要特点：

（1）统计学习以计算机及网络为平台，是建立在计算机及网络之上的；

（2）统计学习以数据为研究对象，是数据驱动的学科；

（3）统计学习的目的是对数据进行预测与分析；

（4）统计学习以方法为中心，统计学习方法构建模型并应用模型进行预测与分析；

（5）统计学习是概率论、统计学、信息论、计算理论、最优化理论及计算机学科多个领域的交叉学科，并且发展中逐步形成独自的理论体系与方法；

 

3.”学习“的定义：如果一个系统能够通过执行某个过程改进它的性能，这就是学习.

 

4.统计学习的对象是数据（data）.数据可以是存在于计算机及网络上的各种数字、文字、图像、视频、音频等及其组合.

 

5.统计学习关于数据的基本假设是同类数据（具有某种共同性质的数据，比如都是人脸图像）具有一定的统计规律性，这就是统计学习的前提.

 

6.统计学习的目的是对数据进行预测与分析，特别是对未知新数据进行预测和分析.

 

7.统计学习由监督学习（supervised learning）、非监督学习（unsupervised  learning）、半监督学习（semi-supervised learning）和强化学习（reinforcement learning）等组成，《统计学习方法》主要讨论监督学习.

 

8.这种情况下的统计学习的方法可以概括如下：从给定的、有限的、用于学习的训练数据（training data）集合出发，假设数据是独立同分布产生的；

并且假设要学习的模型属于某个函数的集合，称为假设空间（hypothesis space）；

应用某个评价准则（evaluation criterion），从假设空间中选取一个最优的模型，使它对已知训练数据及位置的测试数据（test data）在给定的评价准则下有最优预测；

最优模型的选取由算法实现；

 

9.假设空间、模型选取的准则（也就是评价准则）以及模型的学习算法，称其为统计学习方法的三要素，简称为模型（model）、策略（stategy）和算法（algorithm）.

 

10.实现统计学习方法的步骤如下：

（1）得到一个有限和训练数据集合；

（2）确定包含所有可能的模型的假设空间，即学习模型和集合；

（3）确定模型选择和准则，即学习策略；

（4）实现求解最优模型的算法，即学习的算法；

（5）通过学习方法选择最优模型；

（6）利用学习的最有模型对新数据进行预测或分析.

 

11.统计学习的研究一般包括统计学习方法（statistical learning method）、统计学习理论（statistical learning theory）及统计学习应用（application of statistical learning）三个方面.

 

12.统计学习的重要性：

（1）统计学习是处理海量数据的有效方法；

（2）统计学习是计算机智能化的有效手段；

（3）统计学习是计算机学科发展的一个重要组成部分.属于计算机三维（系统、计算、信息）中的信息维度，并在其中起核心作用.