统计学习基本概念

监督学习——基本概念

今天第一次用Markdown写文档，好兴奋~
整理一下统计学习的基本概念，顺便练习一下输入公式~

1. 概述

  监督学习是区别于非监督学习、半监督学习和强化学习的概念。[1]中有一个对监督学习的任务描述：
  从给定的训练数据集合出发，假设要学习的模型属于某个函数的集合（即假设空间，hypothesis space），应用某个评价准则选择最优的模型。

2. 空间

  由于监督学习有标签，输入变量$X$和输出变量$Y$可以看作分别来自输入空间和输出空间。训练数据与测试数据被看作是依联合概率分布$P(X,Y)$独立同分布产生的。
  输入由特征表示，所有的特征向量构成一个特征空间。特征空间的每一维对应一个特征。
  假设空间为由输入空间到输出空间映射的集合。监督学习的模型可以为概率模型或非概率模型，假设空间可以是由参数向量决定的函数族：

F={ f|Y=f(X)}

$$F=\{f|Y=f(X)\}$$ 也可以是参数向量决定的条件概率分布族：

F={ P|Pθ(