机器学习（2）

第二章 学习模型

1.线性模型

问题：首先，从学习对象f函数的输入时一维的情况下开始说明，在对函数f进行近似时，最简单的模型
就是线性模型θ×x。在这里，θ表示模型的参数(标量)，通过对这个参数学习，完成函数的近似计算。
这个模型对于参数θ而言是线性的，因此对其进行数值计算是非常简单易行的，因为这个模型这可以表示线性关系
，所以在解决实际问题的过程中，并没有什么其他的价值。
改进:针对线性模型进行相应的扩展，使其变为基于参数的线性模型，这样就可以使线性模型也可以
用于非线性的输入与输出了。
由基函数转变为多项式函数或者三角多项式的形式衍生出了对于选取合适的基函数的一些思考

a.乘法模型

定义:指吧一维的基函数作为因子，通过使其相乘获得多维基函数的方法
缺陷：输入维数是以d次方的形式呈指数级增长的，以至于计算机无法计算，这些问题又称为
维数灾难
维数灾难：随着输入维度的增加，学习难度将呈现指数级的增长

b.加法模型

把一维的基函数作为因子，通过是其相加而获得多维基函数的方法，加法模型只会随着维数的增加呈现
线性增长看，属于普通计算机的正常计算的范围。但是由于加法模型只考虑了一维基函数相加的情况，因此只可以
表现为简单函数，表现比乘法模型差

2.核模型(将基函数的设计与输入样本联系起来的模型)

核模型:是以使用被称为核函数的二元函数K(.,.)以K(x,xj)(从j=1到n)的线性结合方式加以定义的
fθ(x)=∑θjK(x,xj)(j从1到n),在众多的核函数中，以高斯核函数的使用最为广泛。核模型里，参数的
个数不依赖于输入变量x的维度d,只由训练样本的n决定，在统计学中，通常把基于参数的线性模型称为参数
模型，把核模型称为非参数模型。以表示区别。然而在本书里，我们将核模型视为基于参数的线性模型
同样核模型的另一个特征是，当输入样本不是向量的时候，也能够实现扩展，例如输入样本为字符串，决策树，图表等的决策树
是用这样的核函数进行的机器学习算法，称为核映射的算法。

a.高斯核模型

高斯核模型只在训练集的附近对函数进行近似，可以减轻维数灾难的影响

3.层级模型

与参数相关的非线性模型，称为非线性模型。只要与参数相关的，不是线性的模型。都可以称为非线性模型

a.当基函数采用S型函数

由于S型函数模仿的数人类脑细胞的输入输出函数，因此使用S型函数的层级模型也成为人工神经网络模型

b.基函数采用高斯函数

这里的高斯函数不同于核模型中介绍的高斯函数，这里的高斯函数，其带宽和均值是固定的，而在层级模型中
在对耦合系数学习的过程中,也会对带宽和均值惊醒学习。一般认为层级模型比核模型更加灵活的对函数进行近似
因此对于像人工神经网络的学习，采用贝叶斯学习的方法是不错的选择，另外，近些年来发现，通过从邻近的
输入样本的层级开始，一层一层地进行无监督学习，就可以很好地进行神经网络的初始化操作