3 linear models for regression

1 有训练集X={x1,x2,...,xN},目标集t={t1,t2,...,tN};目标是对于新的观测点x，预测与其对应的目标值。

在一些简单的应用中，采用构建应用函数y(x)（设计model），对于新的输入点x,根据函数关系直接求得对应的目标值t.

贝叶斯估计观点，把参数看成一个确定的随机变量，利用先验概率分布p(x)和似然函数p(x|t)，计算相应的后验概率分布p(t|x)，参数最优解为条件概率的期望：

第一步确定参数的先验概率；第二步写出似然函数，并根据贝叶斯法则计算后验概率；第三步写出参数的贝叶斯估计----条件概率的期望（后验概率）。

2 线性基函数：

函数y(x,w)对于系数w是线性的，在第一章中，基函数选择为，这个多项式基函数的选择的缺点：对于x是全局函数，意味着牵一发而动全身，可以选择样条函数作为基函数，克服此缺点。

（1）高斯基函数

（2） Sigmoidal basis function

 

（3）tan函数

（4）傅里叶级函数