此文章解释指数分布族,广义重点内容线性模型,以及逻辑回归的概率解释推导。
1.指数分布族
指数分布族即为指数形式的概率分布:
其中,T(y)为充分统计量,tau为自然参数。
大多数的概率分布都可以转化为指数分布模型,下文会有例子。
2.广义线性模型
广义线性模型通过指数分布族来引出。
广义线性模型有三个假设:
(1) y|x;θ ExponentialFamily(η);给定样本x与参数θ,样本分类y 服从指数分布族中的某个分布; (2) 给定一个 x,我们需要的目标函数为hθ(x)=E[T(y)|x];
(3)η=θTx。
3.逻辑回归概率模型推导
逻辑回归用于对事情进行二分类,则可以用伯努利分布(0,1)分布来进行建模。
公式推导如下图所示: