PRML第三章3.1节笔记

3.回归的线性模型

3.1 线性及函数模型

回归问题的简单模型就是input的线性组合：

y(x,w) = w0 + w1x1 + w2x2 + wDxD

x = (x1,x2,x3···xD).T

上式被称为线性回归。此模型的关键在于参数w0,w1,····wD，其是一个线性函数。同时它也可以是输入变量Xi的线性函数，就给模型带来了局限性。
于是进行扩展，将输入变量的固定的非线性函数进行线性组合，形式为：

y(x,w) = w0 + ∑wjφj(x)

φj(x)被称为基函数。
参数w0使得数据中可以存在任意固定的偏置—偏置参数。定义一个虚”基函数”φ0(x)=1,于是上式变为：

y(x,w) = ∑wjφj(x) = w.T*φ(x)

在许多模式识别的实际应用中，要对原始的数据进行某种固定形式的预处理或者特征抽取。
通过使用非线性基函数，能够让函数y(w,x)称为输入向量x 的非线性函数。
对于基函数的选择，例如：

μj控制基函数在输入空间的位置，s控制基函数的空间大小，上式被称为高斯基函数。
sigmoid基函数：