Softmax回归是什么？（多元逻辑回归）

逻辑回归模型经过推广，可以直接支持分类多个类别，而不需要训练并组合多个二元分类器。这就是softmax回归，或叫“多元逻辑回归”。Softmax是Logistic回归在多分类问题中的推广。对于三个及以上的分类问题，要采用Softmax作为输出层的激活函数。

Sk(x)=xT θk    （类k的Softmax分数）

def softmax(z):  
    exp_sum = 0
    for k in range(z.shape[0]):
        exp_sum = exp_sum + np.exp(z[k])
    a = np.exp(z)/exp_sum #按元素做除法
    return a

 Softmax实现

在具体的模型实现时，softmax搭配categorical_crossentropy函数使用，该函数公式如下：

 因为yi,要么是0，要么是1。而当yi等于0时，结果就是0，当且仅当yi等于1时，才会有结果。也就是说categorical_crossentropy只专注与一个结果，因而它一般配合softmax做单标签分类

---

使用鸢尾花数据采集softmax的实例：

X = iris["data"][:, (2, 3)]  # petal length, petal width
y = iris["target"]

softmax_reg = LogisticRegression(multi_class="multinomial",solver="lbfgs", C=10, random_state=42)
softmax_reg.fit(X, y)

x0, x1 = np.meshgrid(
        np.linspace(0, 8, 500).reshape(-1, 1),
        np.linspace(0, 3.5, 200).reshape(-1, 1),
    )
X_new = np.c_[x0.ravel(), x1.ravel()]

y_proba = softmax_reg.predict_proba(X_new)
y_predict = softmax_reg.predict(X_new)

zz1 = y_proba[:, 1].reshape(x0.shape)
zz = y_predict.reshape(x0.shape)

plt.figure(figsize=(10, 4))
plt.plot(X[y==2, 0], X[y==2, 1], "g^", label="Iris virginica")
plt.plot(X[y==1, 0], X[y==1, 1], "bs", label="Iris versicolor")
plt.plot(X[y==0, 0], X[y==0, 1], "yo", label="Iris setosa")

from matplotlib.colors import ListedColormap
custom_cmap = ListedColormap(['#fafab0','#9898ff','#a0faa0'])

plt.contourf(x0, x1, zz, cmap=custom_cmap)
contour = plt.contour(x0, x1, zz1, cmap=plt.cm.brg)
plt.clabel(contour, inline=1, fontsize=12)
plt.xlabel("Petal length", fontsize=14)
plt.ylabel("Petal width", fontsize=14)
plt.legend(loc="center left", fontsize=14)
plt.axis([0, 7, 0, 3.5])
save_fig("softmax_regression_contour_plot")
plt.show()

 

 predict 返回预测结果

predict_proba 返回预测的概率值。