《统计学习方法》(李航版) 学习笔记 之 统计学习方法基础

一、有监督学习

1.概念：

目的在于从训练集中学习一个输入到输出的映射模型，再利用模型对未知数据进行预测。
由于训练集是人工给出的，所以叫有监督学习。

2.假设空间

假设空间指的是 输入到输出的所有映射模型的集合。机器学习的目的在于在假设空间中选取最优的模型。

3.模型分类

• 概率模型： 由条件概率分布函数 P(Y|X) 表示
• 非概率模型： 由决策函数Y=f(X) 表示

4.问题定性

二、统计学习三要素

1.模型——输入与输出的映射

• 概率模型：条件概率分布 P(Y|X)
• 非概率模型：决策函数 Y = f(X)

2.策略——模型好坏的评估标准

(1)损失函数(代价函数): 度量一次预测的好坏

表示预测值与实际值的偏差的函数，记为：L(Y, f(X))

常用的损失函数有：

• 0-1损失函数
  $$L(Y,f(X))=\{\begin{array}{l}1,Y̸=f(X)\\ 0,Y=f(X)\end{array}$$

• 平方损失函数
  $$L(Y,f(X))=(Y-f(X){)}^2$$

• 绝对损失函数
  L ( Y , f ( X ) ) = ∣ Y − f ( X ) ∣ L(Y,f(X))=|Y - f(X)|