Multinomial logistic regression

参考文献：Classifying MNIST digits using Logistic Regression

softmax函数，输入x条件下输出为（y＝i）的概率公式如下（W是二维n_input*n_output矩阵,b是一维n_output向量）： P(Y=i|x, W,b) &= softmax_i(W x + b) \ &= \frac {e^{W_i x + b_i}} {\sum_j e^{W_j x + b_j}}
优化策略：stochastic gradient descent(批量梯度下降法)

优化函数：负对数似然函数 http://deeplearning.net/tutorial/_images/math/cc1e04439060ece1cb7d09918f0fffc71649b9f2.png

决策函数：y_{pred} = {\rm argmax}_i P(Y=i|x,W,b)

转载于:https://my.oschina.net/u/2533093/blog/717638