广义线性模型

模型概述

广义线性模型（General Linear Model）是一类常见的机器学习监督模型。

问题定义

已知训练样本集 { x i , y i } , i = 1 , 2 , . . . , m \{x^i,y^i\}, i=1,2,...,m { xi,yi},i=1,2,...,m， 其中m为样本个数，$x^i=[x_1^i,x_2^i,...,x_n^i]$为第i个样本的n维特征，$y^i$为第i个样本的目标值。欲训练一个监督学习模型（分类或回归）$h_{\theta }$，使得对y的预估值$\hat{y}$满足$$\hat{y}=h_{\theta }(x)$$其中$\theta$为模型参数。

模型假设

1. 在给定x的条件下，y的充分统计量¹满足指数族分布²分布，即$$T(y)|x\sim ExponentialFamily(\eta )$$
   其中，
   T(y)为y的充分统计量，在本文中，我们取 $T(y)=y$。
   $\eta$为指数族分布参数，且指数族分布概率公式为
   $$P(y)=b(y)exp(\eta \ast y-a(\eta ))$$
2. 所学的监督模型输出为在给定x的条件下T(y)的期望，即$$h_{\theta }(x)=E(T(y)|x)$$
3. 假设参数$\eta$与样本$x$为线性关系，即 $\eta ={\theta }^{T}x={\sum }_{i=1}^m$