学习笔记5.10-统计学习方法1

1 输入、特征及输出空间定义

输入、输出变量用大写字母表示，习惯上输入变量写作X，输出变量写作Y。输入、输出变量所取的值用小写字母表示，输入变量的取值写作x，输出变量的取值写作y。

1.1 $x^{(i)}$与$x_i$的区别

$x^{(i)}$表示x的第i个特征($x^{(1)}=x,x^{(2)}=y,x^{(3)}=z$…)，$x_i$表示多个输入变量中的第i个。

含有m个特征的输入实例的特征向量$x$为：
$$x=\left(x^{\left(1\right)},x^{\left(2\right)},...,x^{\left(m\right)}\right)$$

注意：$x_i$表示第i组数据，包含了该组的所有特征。即：
$$x_i=\left(x_i^{\left(1\right)},x_i^{\left(2\right)},...,x_i^{\left(m\right)}\right)$$

可以得到有n组训练数据的训练集T:
T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x n , y n ) } T=\left\{ \left( x_1,y_1 \right) ,\left( x_2,y_2 \right) ,...,\left( x_n,y_n \right) \right\} T={(x1​,y1​),(x2​,y2​),...,(xn​,yn​)}

2 联合概率分布

监督学习假设输入与输出的随机变量X和Y遵循联合概率分布P(X,Y)。 P(X,Y)表示分布函数，或分布密度函数。注意，在学习过程中，假定这一联合概率分布存在，但对学习系统来说，联合概率分布的具体定义是未知的。 训练数据与测试数据被看作是依联合概率分布P(X,Y)独立同分布产生的。统计学习假设数据存在一定的统计规律，X和Y具有联合概率分布的假设就是监督学习关于数据的基本假设。

3 假设空间（hypothesis space）

监督学习的目的在于学习一个由输入到输出的映射，这一映射由模型来表示。 模型属于由输入空间到输出空间的映射的集合，这个集合就是假设空间。

4 问题形式化

监督学习分为两大部分，由训练组由学习系统（学习算法） 得到模型，之后由预测系统进行检验。