Linear Models for Regression(1)
回归的线性模型(1)
写在前面
本文是本人自学PRML过程中整理思路用,水平有限,如有错误请各位前辈及时指出,感激不尽…
x : 标量
X : 矩阵
Φ : M 维向量,所有
Φ : N×M 矩阵,每个样本对应的 Φ 组成的矩阵
主线——目标
回归问题的目标:在给定 M 维输入变量
考虑一个数据集
首先,我们要搞一个概率分布 p(t | x) 出来,并假设这些数据点是独立的从该分布中抽取的。来看线性回归:
- 简单线性回归
y(x,w)=w0+w1x1+w2x2+...+wDxD
其中 x=(x1,...,xD)T 。
副本1——基函数
PRML里说:
通过将一组输入变量的非线性函数进行线性组合,我们可以获得一类更加有用的函数,被称为基函数(basis function)
人话:
比如原来的每一个样本 x=(x1,...,xD)T ,我可以不直接输入 x1,x2... ,可以变成: x1,x21,x2,x22,x1x2... 形式不限(类比基变换)。
令 ϕj(x) 为第 j 列值,则变换后:
ϕj(x) 被称为基函数(basis function)
参数 w0 为偏置参数(参考 y=ax+b 中的 b ,不同于统计学中的偏置),通常定义一个额外的基函数
其中 w=(w0,...,wM−1)T,Φ=(ϕ0,...ϕM−1)T 。
- 实际应用中可能会对原始数据进行特称抽取,原始样本为向量 x ,特征向量就可以用 { ϕj(x)} 表示。
关于基函数,PRML里还介绍有:
* 高斯基函数
* sigmoid基函数 (怎么哪都有你sigmoid?黑人问号
* tanh函数 (logistic sigmoid的基友
* 傅立叶基函数
* 小波
…
(Orz 不懂怎么选基,慢慢来吧)
主线——尝试
现在假设:目标变量 t 由确定的函数
当然这么直接硬上有点僵硬,上高斯噪声,即:
其中 ϵ 是一个均值为0、精度(方差倒数)为 β 的高斯随机变量。
则 t 的分布由条件分布
可以看到,给定x时,t的分布是单峰的,一般实际数据更复杂一些,用单峰去拟合可能效果不会很好(也就是说即使是加了这么个噪声,也就比僵硬好那么一点,PRML后面会讲到混合条件高斯分布,可以描述多峰, = = 我还没看到…)
有了这个条件分布之后怎么办?当然希望似然函数越大越好(个人理解:背后的直觉是给定条件分布参数 X 后,应选择参数
似然函数(条件是各样本独立同分布):
其中
则: