学习《统计学习方法》-01-统计学习方法概论

导言

---

1. 什么是统计学习
2. 统计学习有什么特点
3. 基本概念介绍
   .

---

1.1统计学习

　统计学习(statistical learning)，是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测和分析的一门学科。又称为统计机器学习(statistical machine learning)。

• 特点
  1.统计学习以计算机及网络为平台（平台）
  2.统计学习以数据为研究对象（对象）
  3.统计学习目的是对数据进行预测与分析（目的）
  4.统计学习以方法为中心，用方法构建模型，并用模型进行预测与分析（中心）
  5.统计学习是概率论，统计学，信息论，计算理论，最优化理论及计算机科学等多个领域交叉的学科，并在发展中逐步形成独自的理论与方法体系（多领域交叉）

统计学习可以看作是：计算机系统通过运用数据及统计方法提高系统性能的机器学习。
现在提起的机器学习就是统计机器学习

　统计学习包括监督学习，非监督学习，半监督学习及强化学习。这里主要讨论的是监督学习。

1. 从给定的、有限的、用于学习的训练数据集合(training data)出发，假设数据是独立同分布产生的
2. 并假设要学习的模型属于某个函数的集合，称为假设空间(hypothesis space)
3. 应用某个评价准则(evaluation criterion),从假设空间选取一个最优的模型，使他对已知的训练数集及未知的测试数据(test data)在给定的评价准则下有最优的预测
4. 最优模型的选取由算法实现

由上，可知统计学习的三要素：

• 模型的假设空间
• 模型选择的
• 模型学习的算法

即模型(model)，策略(strategy)，算法(algorithm)