1.1 统计学习

1.1	统计学习
	1.统计学习的特点
		统计学习（statistical learning）是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测和分析的一门学科，又称为统计机器学习（statistical machine learning）。
		统计学习的主要特点是：（1）统计学习以计算机及网络为平台，是建立在计算机及网络上的；（2）统计学习以数据为研究对象，是数据驱动的学科；（3）目的是对数据进行预测和分析；（4）统计学习以方法为中心，统计学习方法构建模型并应用模型进行预测和分析；（5）统计学习是概率论、统计学、信息论、计算理论、最优化理论及计算机科学等多个领域的交叉学科，并在发展中逐步形成自己的理论体系和方法论。
	2.统计学习的对象
		统计学习的研究对象是数据（data）。它从数据出发，提取数据的特征，抽象出数据的模型，发现数据中的知识，又回到对数据的分析与预测中去。数据包括各种数字、文字、图像、音频、视频以及它们的组合。
		统计学习关于数据的基本假设是同类数据具有一定的统计规律性，这是统计学习的前提，从而可以使用概率统计的方法处理它们。比如，可以用随机变量描述数据中的人特征，用概率分布描述数据的统计规律。
	3.统计学习的目的
		统计学习用于对数据，尤其是未知数据的预测和分析，通过构建概率统计模型实现。目标就是考虑学习什么样的模型和如何学习模型，以便能够准确、高效率的进行预测和分析。
	4.统计学习的方法
		统计学习的方法是基于数据构建概率统计模型从而对数据进行预测和分析。统计学习由监督学习（supervised learning）、无监督学习（unsupervised learning）和强化学习（reinforcement learning）等组成。
		统计学习方法可以概括如下：从给定的、有限的、用于学习的训练数据集合出发，假设数据是独立同分布产生的；并且假设要学习的模型属于某个函数的集合，称为假设空间（hypothesis space）应用某个评价准则（evaluation criterion），从假设空间中选取一个最优模型。使它对已知的训练数据及未知的测试数据在给定的评价准则下有最优的预测；最优模型的选取由算法实现。这样，统计学习方法包括模型的假设空间、模型选择的准则以及模型的学习算法。称其为统计学习的三要素：模型（model）+策略（strategy）+算法（algorithm）。
		实现统计学习方法的步骤如下：
		（1）得到一个有限的训练数据集合；
		（2）确定包含所有可能的模型的假设空间，即学习模型的集合；
		（3）确定模型的选择准则，即学习的策略；
		（4）实现求解最优模型的算法，即学习的算法；
		（5）通过学习方法选择最优模型；
		（6）利用学习的最优模型对新数据进行预测和分析。