PRML读书笔记（1）——第三章线性回归模型

最新推荐文章于 2021-04-27 18:24:07 发布

大大的尾巴

最新推荐文章于 2021-04-27 18:24:07 发布

阅读量797

点赞数

分类专栏： PRML 文章标签： pattern-recognition-and-machine-learning machine-learning

本文链接：https://blog.csdn.net/gao54456/article/details/78128605

版权

PRML 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

线性基函数模型

线性基函数模型

基本形式

y (x, w) = w 0 + w 1 x 1 + \dots + w D x D = w 0 + \sum j = 1 M - 1 w j ϕ j (x) = \sum j = 0 M - 1 w j ϕ j (x) = w T ϕ (x)

$y(x,w) = w_0+w_1x_1+\dots+w_Dx_D\\=w_0+\sum^{M-1}_{j=1}w_j\phi_j(x)\\=\sum^{M-1}_{j=0}w_j\phi_j(x)\\=w^T\phi(x)$

Feature Extraction

决定基函数（basis function） $\{\phi_j(x)\}$ 的过程，基函数选取可以包括

线性
幂次(存在着一个feature变化其他的feature也会变化的情况)
高斯： $\phi_j(x)=exp\{-\frac{(x-\mu_j)^2}{2s^2}\}$
sigmoid function

最大化似然函数和最小均方差(Maximum likelihood and least squares)

讨论最大似然方法和最小均方差的关系

t = y (x, w) + ϵ

$t=y(\textbf{x},\textbf{w})+\epsilon$
其中

ϵ $\epsilon$ 是均值为0的高斯随机值，精度为

β $\beta$ (后面很多地方用到这个参数，其含义是数据的随机精度，是由数据本身确定的，在机器学习的过程中只能不断的去迫近这个值)。即有目标值概率密度函数符合高斯分布

p (t | x, w, β) =  (t | y (x, w, β - 1))

$p(t|\textbf{x},\textbf{w},\beta)=\mathcal{N}(t|y(\textbf{x},\textbf{w},\beta^{-1}))$
一般来说，如果用均方差函数，那么关于

t $t$ 的最优预测结果是分布的均值，对于上面的式子，其条件均值为

E [t | x] = \int t p (t | x) d t = y (x, w)

$E[t|\textbf{x}]=\int{tp(t|\textbf{x})\mathrm{d}t}=y(\textbf{x},\textbf{w})$

Example

Input values: $\mathrm{X}=\{\textbf{x}_1,\cdots,\textbf{x}_N\}$ , $\textbf{t}=\{t_1,\cdots,t_N\}$ 是从上面的高斯随机分布中产生的数据，得到下面的似然函数

p (t | X, w, β) = \prod n = 1 N ln  (t n | w T ϕ (x n), β - 1)

$p(\textbf{t}|\mathrm{X},\textbf{w},\beta)=\prod^N_{n=1}\ln\mathcal{N}(t_n|\textbf{w}^\mathrm{T}\phi(\textbf{x}_n),\beta^{-1})$
是对于整个训练数据的目标值的概率分布密度函数，忽略条件参数中的

X $\textbf{X}$ 并且取对数得到对数似然函数

ln p (t | w, β) = \sum n = 1 N ln  (t n | w T ϕ (x n), β - 1) = N 2 ln β - N 2 ln (2 π) - β E D (w)

$\ln{p(\textbf{t}|\textbf{w},\beta)}=\sum^N_{n=1}\ln\mathcal{N}(t_n|\textbf{w}^\mathrm{T}\phi(\textbf{x}_n),\beta^{-1})\\=\frac{N}{2}\ln\beta-\frac{N}{2}\ln(2\pi)-\beta E_D(\textbf{w})$
其中的

ED(w) $E_D(\textbf{w})$ 是均方误差函数

E D (w) = 1 2 \sum n = 1 N {t n - w T ϕ (x n)} 2

$E_D(\textbf{w})=\frac{1}{2}\sum^N_{n=1}\{t_n-\textbf{w}^\mathrm{T}\phi(\textbf{x}_n)\}^2$
可以通过最大似然函数的方法去估计参数

w $\textbf{w}$ 和

β $\beta$ ，已知在高斯噪声的假设下(也就是说正常情况下最大化似然函数所覆盖的范围是比最小化均方差大的)，最大化似然函数等同于最小化均方差函数

ED(w) $E_D(\textbf{w})$ 。首先求对数似然函数关于

w $\textbf{w}$ 的梯度为

\nabla ln p (t | w, β) = \sum n = 1 N {t n - w T ϕ (x n)} ϕ (x n) T = 0

$\nabla\ln p(\textbf{t}|\textbf{w},\beta)=\sum_{n=1}^N\{t_n-\textbf{w}^\mathrm{T}\phi(\textbf{x}_n)\}\phi(\textbf{x}_n)^\mathrm{T}=0$
存疑：这里涉及到矩阵求导，貌似上式中最后一项

Φ(xn)T $\Phi(\textbf{x}_n)^\mathrm{T}$ 是采取了分子布局的结果，如果采取分母布局的化，应该是

\nabla ln p (t | w, β) = \sum n = 1 N ϕ (x n) {t n - w T ϕ (x n)}

$\nabla\ln p(\textbf{t}|\textbf{w},\beta)=\sum_{n=1}^N\phi(\textbf{x}_n)\{t_n-\textbf{w}^\mathrm{T}\phi(\textbf{x}_n)\}$
但是两者之间求出来的值是否一致还不清楚，需要进一步讨论。

解得

0 = \sum n = 1 N t n ϕ (x n) T - w T \sum n = 1 N ϕ (x n) ϕ (x n) T

$0=\sum^N_{n=1}t_n\phi(\textbf{x}_n)^\mathrm{T}-\textbf{w}^\mathrm{T}\sum^N_{n=1}\phi(\textbf{x}_n)\phi(\textbf{x}_n)^\mathrm{T}$
对该式求解，得到

w M L = (Φ T Φ) - 1 Φ T t

$\textbf{w}_{ML}={(\Phi^\mathrm{T}\Phi)}^{-1}\Phi^\mathrm{T}\textbf{t}$
其中

Φ = ⎛ ⎝ ⎜ ⎜ ⎜ ⎜ ϕ 0 (x 1) ϕ 0 (x 2) ⋮ ϕ 0 (x N) ϕ 1 (x 1) ϕ 1 (x 2) ⋮ ϕ 1 (x N) \dots \dots ⋱ \dots ϕ M - 1 (x 1) ϕ M - 1 (x 2) ⋮ ϕ M - 1 (x N) ⎞ ⎠ ⎟ ⎟ ⎟ ⎟

$\Phi=\begin{pmatrix} \phi_0(\textbf{x}_1) & \phi_1(\textbf{x}_1) & \cdots & \phi_{M-1}(\textbf{x}_1) \\ \phi_0(\textbf{x}_2) & \phi_1(\textbf{x}_2) & \cdots & \phi_{M-1}(\textbf{x}_2) \\ \vdots & \vdots & \ddots & \vdots\\ \phi_0(\textbf{x}_N) & \phi_1(\textbf{x}_N) & \cdots & \phi_{M-1}(\textbf{x}_N) \end{pmatrix}$
这个推导过程还没有自己验证成功过 T^T
当把

ED(w) $E_D(\textbf{w})$ 中的

w0 $\textbf{w}_0$ 提出来，得到

E D (w) = 1 2 \sum n = 1 N {t n - w T ϕ (x n)} 2 = 1 2 \sum n = 1 N {t n - \sum j = 0 M - 1 w j ϕ j (x n)} 2 = 1 2 \sum n = 1 N {t n - w 0 - \sum j = 1 M - 1 w j ϕ j (x n)} 2

$E_D(\textbf{w})=\frac{1}{2}\sum^N_{n=1}\{t_n-\textbf{w}^\mathrm{T}\phi(\textbf{x}_n)\}^2\\ =\frac{1}{2}\sum^N_{n=1}\{t_n-\sum^{M-1}_{j=0}w_j\phi_j(\textbf{x}_n)\}^2\\ =\frac{1}{2}\sum^N_{n=1}\{t_n-w_0-\sum^{M-1}_{j=1}w_j\phi_j(\textbf{x}_n)\}^2$
对

w0 $w_0$ 求导，得到

w 0 = t ⎯ - \sum j = 1 M - 1 w j ϕ j ⎯ ⎯ ⎯ ⎯ t ⎯ = 1 N \sum n = 1 N t n ϕ j ⎯ ⎯ ⎯ ⎯ = 1 N \sum n = 1 N ϕ j (x n)

$w_0=\overline{t}-\sum^{M-1}_{j=1}w_j\overline{\phi_j}\\ \overline{t}=\frac{1}{N}\sum^N_{n=1}t_n\\ \overline{\phi_j}=\frac{1}{N}\sum^N_{n=1}\phi_j(\textbf{x}_n)$
因此实际上

w0 $w_0$ 刻画了目标值的均值和基函数的加权和的差值。相似的，易得

β $\beta$ 的最大似然估计为