softMax的cost写好之后,模型也就可以正式开始进行训练了。
首先要把softMaxExercise里边的Debug赋值为false,可以看到,梯度检验这一步在正式训练过程中是完全不需要做的。
softMax模型
softMax的模型是什么样的呢?
假设一共有k个类,那么对于样本 x(i) ,预测它属于第j类的概率如下
p(y=j|x(i))=eθTj∗x(i)∑kl=1θTl∗x(i)
softMax将样本 x(i) 属于这k个类的概率都计算出来,之后将样本预测为概率最大的那个类。