softmax regression简介
logistic regression (LR) 常用于二分类问题。对于多分类问题，使用softmax regression (SMR) 则是一个更好的选择，SMR也是逻辑回归在多分类问题上的一个推广。
下图分别显示了LR和SMR的训练过程和差别所在：
为了适应多分类问题，SMR使用softmax函数（ Φ \Phi Φ）代替了原来的sigmoid函数。在SMR中，我们定义第 i i i个样本 X i X_i Xi属于类别 j j j的概率为：
P ( y = j ∣ X i ) = Φ ( z i ) = e z i j ∑ k = 0 K e z i k , (1) P(y=j|X_i)=\Phi (z_{i})=\frac{e^{z^j_{i}}}{\sum_{k=0}^Ke^{z^k_{i}}},\tag{1} P(y=j∣Xi)=Φ(zi)=∑k=0Kezikezij,(1)
其中， z i j = w 0 j x 0 + w 1 j x 1 + . . . + w m j x m = ∑ l = 0 m w l j x l = W j T X i , (2) z^j_i=w^j_0 x_0+w^j_1 x_1+...+w^j_m x_m=\sum_{l=0}^m w_l^j x_l=W^T_jX_i, \tag{2} zij=w0jx0+w1jx1+...+wmjxm=l=0∑mwljxl
最低0.47元/天 解锁文章
扫一扫
640
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
