Multinoulli分布模型的推导

假设Y有k种可能，则Y={1,2,...,k}。

设： 这里T()只有k-1个元素

 

令表示T(Y)的第i个元素。

又有：

其中为P(Y=1)的概率。

由极大似然概率：

 

由于符合广义线性模型(generalize linear model)：

代如模型，我们有：

 

而

则

Hypothesis:

cost function:

 

用梯度下降法求：

repeat{

for j=1 to n{

   for all i where 

}

}

 

最终，输入新的数据，可以输出一个向量：

 where 

 

以上是观看吴恩达的机器学习视频后，由于视频里没有相关推导，于是自己推导了一下，然后在这里做记录。