3.1 Linear Basis Function Models（PRML 系列----3.1.1 Maximum likelihood and least squares

与多项式回归的对比：多项式基函数的缺点，详细以后再补存

常用基函数

3.1.1 Maximum likelihood and least squares

与ＧＭＭ的区别：单峰的而GMM是多峰的

多个数据此时下标表示样本个数

由正态分布得到具体的形式

高斯噪声、线性模型最大化似然等价于最小化MSE

一点点简单的证明

$$f={\mathbf{w}}^T\mathbf{\varphi }({\mathbf{x}}_{\mathbf{n}})$$$$df={(\mathbf{d}\mathbf{w})}^T\mathbf{\varphi }({\mathbf{x}}_{\mathbf{n}})$$$$df=tr({(\mathbf{d}\mathbf{w})}^T\mathbf{\varphi }({\mathbf{x}}_{\mathbf{n}}))$$$$df=tr({\mathbf{\varphi }({\mathbf{x}}_{\mathbf{n}})}^T\mathbf{d}\mathbf{w})$$$$\frac{\partial f}{\partial \mathbf{w}}=\mathbf{\varphi }({\mathbf{x}}_{\mathbf{n}})$$
标量对列向量的求导还是列向量，因此书中不是转置（写成行向量求导更容易）

书中统一将导数转化为行向量，可以使得计算$w$方便，如下示

就以列向量进行推导
$$0=\sum _{n=1}^N{t}_n\varphi \left({\mathbf{x}}_n\right)-\sum _{n=1}^N{\mathbf{w}}^{\mathrm{T}}\varphi \left({\mathbf{x}}_n\right)\mathbf{\varphi }\left({\mathbf{x}}_n\right)$$$$0=\sum _{n=1}^N{t}_n\varphi \left({\mathbf{x}}_n\right)-\sum _{n=1}^N\mathbf{\varphi }\left({\mathbf{x}}_n\right){\mathbf{w}}^{\mathrm{T}}\varphi \left({\mathbf{x}}_n\right)$$$$0=\sum _{n=1}^N{t}_n\varphi \left({\mathbf{x}}_n\right)-\sum _{n=1}^N\varphi \left({\mathbf{x}}_n\right)\mathbf{\varphi }{\left({\mathbf{x}}_n\right)}^{\mathrm{T}}\mathbf{w}$$
第一项是${\mathbf{\Phi }}^{\mathrm{T}}\mathbf{t}$,第二项是${\mathbf{\Phi }}^{\mathrm{T}}\mathbf{\Phi }\mathbf{w}$

方差的估计值

线性基函数模型中$w_0$权重的意义：