统计学习（概论）

统计学习是关于计算机数据构建概率统计模型并运行模型对数据进行预测与分析的一门学科。统计学习也称为统计机器学习（statisticcal machine learning）

统计学习的主要特点是：

1. 以计算机及网络为平台，是建立在计算机及网络之上的
2. 以数据为研究对象，是数据驱动的学科
3. 目的是对数据进行预测与分析
4. 以方法为中心，统计学习方法构建模型并应用模型进行预测与分析
5. 统计学习是概率论，统计学，信息论，计算理论，最优化理论及计算机科学等多个领域的交叉学科

统计学习的对象：
统计学习的对象是数据【data】，它是从数据出发，提取数据的特征，抽象出数据的模型，发现数据中的知识，又回到对数据的分析与预测中去，作为统计学习的对象，数据是多样的，包括存在与计算机及网络上的各种数字，文字，图像，视频，音频数据以及它们的组合。
可以用随机变量描述数据中的特征，用概率分布描述数据的统计规律。在统计学习过程中，以变量或变量组表示数据，数据分为由连续变量和离散变量表示的类型。

统计学习的目的：
统计学习用于对数据进行预测与分析，特别是对未知新数据进行预测与分析，对数据的预测可以使计算机更加智能化，或者说使计算机的某些性能得到提高；对数据的分析可以让人们获取新的知识，给人带来新的发现。
对数据的预测与分析是通过构建概率统计模型实现的。统计学习总的目的就是考虑学习什么的模型和如何学习模型，以使模型能对数据进行准确的预测与分析，同时也要考虑尽可能地提高学习的效率。

统计学习的方法是基于数据构建统计模型从而对数据进行预测与分析。

统计学习由：

• 监督学习【supervised learning】
• 非监督学习【unsupervised learning】
• 半监督学习【semi-supervised learning】
• 强化学习【reinforcement learning】

等组成。

监督学习的方法：从给定的，有限的，用于学习的训练数据【training data】集合出发，假设数据是独立分布产生的；并且假设要学习的模型属于某个函数的集合，称为假设空间【hypothesis space】；应用某个评价准则【evaluation criterion】，假设空间中选取一个最优的模型，使它对已知训练数据及未知测试数据【test data】在给定的评价准则下有最优的预测，最优模型的选取由算法实现。
这样统计学习方法包括模型的假设空间，模型选择的准则以及模型学习的算法，称为统计学习的三要素，简称为模型【model】，策略【strategy】和算法【algorithm】。

实现统计学习方法的步骤如下：

1. 得到一个有限的训练数据集合
2. 确定包括所有可能的模型的假设空间，即学习模型的集合
3. 确定模型选择的准则，即学习的策略
4. 实现求解最优模型的算法，即学习的算法
5. 通过学习方法选择最优模型
6. 利用学习的最优模型对新数据进行预测或分析

learning的目标是训练出一个模型，用这个模型进行一系列的预测。我们可以将训练过程涉及的过程抽象成数学函数：首先需要定义一个网络结构，相当于定义一种线性非线性函数；接着设定一个优化目标，即定义一种损失函数；而训练的过程就是求解最优解及次优解。