统计学习方法笔记（1）

第一次阅读李航的《统计学习方法概论》特此记录一些重点知识以备复习。

基本概念

1、统计学习方法三要素：模型、策略和算法。

2、假设空间：要学习的模型的集合称为假设空间。

3、本书主要介绍监督学习方法，主要包括用于分类、标注与回归问题的方法。在自然语言处理、信息检索、文本数据挖掘等领域有广泛的应用。

监督学习

1、统计学习包括监督学习、非监督学习、半监督学习及强化学习。

2、监督学习的任务是学习一个模型，使模型能够对任意给定输入，产生好的预测。

3、搞清楚几个基本概念：输入空间、输出空间、输入变量（多为列向量，表示多个输入条件）、输出变量。

4、输入输出均为连续变量：回归问题。
输入连续，输出有限个离散变量：分类问题。
输入输出均为有限个离散变量：标注问题。

5、监督学习分为学习与预测两个部分。

注：arg max表示符合条件的函数值中的最大值。

损失函数和风险函数

1、损失函数用于度量模型一次预测的好坏。风险函数度量平均意义下模型预测的好坏。

2、常用的损失函数

（1）0-1损失函数
$$\{\begin{array}{l}3x+5y+z\\ 7x-2y+4z\\ -6x+3y+2z\end{array}$$
（2）平方损失函数

$$L(Y，f(X))=(Y$$