统计学习方法-学习笔记1（第一章 概论01）

统计学习方法

1.统计学习的特点

统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测和分析的一门学科。
Herbert A.Simon 对学习的定义是：如果一个系统能通过执行某个过程改进它的性能，这就是学习。

2.统计学习的对象

对象是数据。Data！
它从数据出发，提取数据的特征，抽象出数据的模型，发现数据里面的知识，又回到数据中进行预测和分析。
统计学习关于数据的基本假设：同类型数据具有一定的统计规律性。

3.统计学习的目的

对数据分析和预测，特别是对未知新数据的预测和分析。

4.统计学习的方法

监督学习 无监督学习 强化学习

统计学习分类

1.监督学习

监督学习是指从标注数据中学习预测模型的机器学习问题。
在监督学习中，将输入输出所有的可能值的集合分别称为输入空间和输出空间。通常输出空间远远的小于输入空间。
实例instance：每个具体的输入，或者说具体的一个样本。
特征向量feature vector：特征向量的每一维代表一个特征。
所有特征向量存在的空间叫做特征空间。
回归问题：输入变量和输出变量均为连续值。
分类问题：输出变量为有限个离散变量。
标注问题：输入变量与输出变量均为变量序列的预测问题。
监督学习假设输入和输出的随机变量X和Y遵循联合概率分布。监督学习的模型可以是概率模型或者是非概率模型。
条件概率分布 $P(X|Y)$或者决策函数$y=f(x)$表示。

2.无监督学习

无监督学习是指从无标注学习预测模型的机器学习问题。监督学习的本质是学习数据之中的统计规律或潜在结构。如实现数据的聚类/降维/概率估计。

3.强化学习

强化学习是指智能系统在与环境的交互中学习最优行为策略的机器学习问题。本质是学习最优的贯序序列。

统计学习方法三要素

方法 = 模型 + 策略 + 算法
模型：概率分布或者决策函数
策略：学习和选择最优模型的准则