统计学习II.7 广义线性模型1 指数分布族

---

这一部分介绍广义线性模型，这是一类监督学习方法，通常用来构造分类器等。考虑 { ( X i , Y i ) } i = 1 N \{(X_i,Y_i)\}_{i=1}^N { (Xi​,Yi​)}i=1N​，广义线性模型通常假设$Y_i$服从某种指数分布族。因此这一部分先介绍指数分布族，然后介绍基于不同指数分布族导出的广义线性模型的不同效果。

---

指数分布族的定义

用$p(x|\theta )$表示某个密度函数，称它是指数分布族(exponential family)如果：
$$p(x|\theta )=h(x)\exp ({\theta }^T\varphi (x)-A(\theta ))$$

根据密度函数的归一性，
$$\begin{gathered} \int p(x|\theta )dx=\int h(x)\exp ({\theta }^T\varphi (x)-A(\theta ))dx \\ =\exp (-A(\theta ))\int h(x)\exp ({\theta }^T\varphi (x))dx=1 \end{gathered}$$

于是

$$A(\theta )=\log Z(\theta ),Z(\theta )=\int h(x)\exp ({\theta }^T\varphi (x))dx$$

其中$\theta$被称为natural parameter，$\varphi (X)$是这个指数族的充分统计量（基于Fisher-Neyman定理），$Z(\theta )$是partition function，$A(\theta )$是cumulant function，如果$\varphi (X)=X$，称这样的指数族为自然指数族(natural exponential family)。

指数分布的另一种形式为
$$p(x|\theta )=h(x)\exp (\eta (\theta {)}^T\varphi (x)-A(\eta (\theta )))$$如果$\dim (\theta )<\dim (\eta (\theta ))$，称之为curved exponential family，此时充分统计量的数目比参数多；如果$\dim (\theta )=\dim (\eta (\theta ))$，称之为canonical form；

指数分布族的例子

Bernoulli分布

$$p(x|\mu )={\mu }^x(1-\mu {)}^{1-x}=\exp (\varphi (x{)}^T\theta )$$

其中
$$\varphi (x)=[1_{x=0},1_x$$