吴恩达机器学习笔记——softmax回归概率模型推导

此文章解释指数分布族，广义重点内容线性模型，以及softmax回归的概率解释推导。

1.指数分布族

指数分布族即为指数形式的概率分布：

其中，T(y)为充分统计量，tau为自然参数。

大多数的概率分布都可以转化为指数分布模型，下文会有例子。

2.广义线性模型

广义线性模型通过指数分布族来引出。

广义线性模型有三个假设：

(1) y|x;θ ExponentialFamily（η）；给定样本x与参数θ，样本分类y 服从指数分布族中的某个分布； (2) 给定一个 x，我们需要的目标函数为hθ(x)=E[T(y)|x];
(3)η=θTx。

3.softmax概率模型推导

逻辑回归用于对事情进行多分类，则可以用多项式分布来进行建模。

与逻辑回归不同的是，因为想让多项式成为指数分布族，此时的T(y)不等于Y，而为向量了。其中I为指示函数。如果有大神知道如何用梯度下降对此cost_function进行优化，请私聊下我哈，现在也很纳闷。

公式推导如下图所示：