此文章解释指数分布族,广义重点内容线性模型,以及softmax回归的概率解释推导。
1.指数分布族
指数分布族即为指数形式的概率分布:
其中,T(y)为充分统计量,tau为自然参数。
大多数的概率分布都可以转化为指数分布模型,下文会有例子。
2.广义线性模型
广义线性模型通过指数分布族来引出。
广义线性模型有三个假设:
(1) y|x;θ ExponentialFamily(η);给定样本x与参数θ,样本分类y 服从指数分布族中的某个分布; (2) 给定一个 x,我们需要的目标函数为hθ(x)=E[T(y)|x];
(3)η=θTx。
3.softmax概率模型推导
逻辑回归用于对事情进行多分类,则可以用多项式分布来进行建模。
与逻辑回归不同的是,因为想让多项式成为指数分布族,此时的T(y)不等于Y,而为向量了。其中I为指示函数。如果有大神知道如何用梯度下降对此cost_function进行优化,请私聊下我哈,现在也很纳闷。
公式推导如下图所示: