机器学习笔记1_3:广义线性模型(GLM, Generalized Linear Models)

1. 形式：
   
   $\eta$称为自然参数(natural parameter), T(y)是充分统计量（通常T(y)=y）,$a(\eta)$称为log partition function，上式中$e^{-a(\eta)}$作为归一化参数。通过改变$\eta$可以得到不同的分布
   
   • 伯努利分布（对应逻辑回归）：
     
     上式中$\eta=log(\frac{\phi}{1-\phi})$,有趣的是，如果我们反解出$\phi$会得到$\phi=\frac{1}{1+e^{-\eta}}$,正好是sigmoid函数
     
   • 高斯分布(对应线性回归)
     为了简便起见，令$\sigma^2=1$得到
     
     其中：