Overview
Chap 2: Distribution and non-parametric models
Chap 3: Generalized Linear model
其实所谓的广义线性模型 (GLM) 就是 ”1.5“ 层的神经网络。书中对于 GLM 的定义如下:
ŷ=w0+∑iwi⋅ϕi(x)(1)
(1)
y
^
=
w
0
+
∑
i
w
i
⋅
ϕ
i
(
x
)
而不管是什么基函数(base function) ϕi(x) ϕ i ( x ) ,其形式都是先过一层仿射(affine,也就是线性变换加一个 bias),再过一层非线性函数,最后这是一个对于 ϕ(x) ϕ ( x ) 的仿射变换。其实这就是如下的神经网络:
因此,就一般的使用上,我认为完全可以用 DNN 代替 GLM 了,至于另外的价值,我认为在 GLM 的贝叶斯(Bayesian)统计分析上,而这些统计分析于基函数(base function)的选取也是无关的。