机器学习笔记 softmax的实现 ex4Data数据集

ML课的第三个练习作业

总共实现两个优化算法一个是GD一个是SGD，逻辑回归的已经在前面的博客中实现过了

数据集链接：

http://openclassroom.stanford.edu/MainFolder/DocumentPage.php?course=DeepLearning&doc=exercises/ex4/ex4.html

softmax的模型实际就是一个相对概率模型，公式如下：

θj就是对应于第j类的参数，θc=0可以理解为我们实际上是在分类C-1个类，第C个类是剩下的，其实在实际操作中不强制等于0也可以，后面我们将看到结果。

和逻辑回归一样我们的loss函数是对θ做最大似然估计：

对loss函数求导得到梯度，因为最大似然估计要求最大化似然函数，所以参数更新是+上梯度。