PRML 学习感悟

Overview

Chap 2: Distribution and non-parametric models

Chap 3: Generalized Linear model

其实所谓的广义线性模型 (GLM) 就是 ”1.5“ 层的神经网络。书中对于 GLM 的定义如下：

$$\hat{y} = w_0 + \sum_i w_i \cdot \phi_i(x) \tag{1}$$
而不管是什么基函数（base function） $\phi_i(x)$ ，其形式都是先过一层仿射（affine，也就是线性变换加一个 bias），再过一层非线性函数，最后这是一个对于 $\phi(x)$ 的仿射变换。其实这就是如下的神经网络：

因此，就一般的使用上，我认为完全可以用 DNN 代替 GLM 了，至于另外的价值，我认为在 GLM 的贝叶斯（Bayesian）统计分析上，而这些统计分析于基函数（base function）的选取也是无关的。