在logistic回归模型中,我们只是讲了二分类问题,但是在我们的实际分类应用中,还涉及多分类问题,那么,这个时候,就需要用到softmax分类器了。如下图:
有绿三角、红叉和蓝矩形三个类别要分类,我们是通过三个分类器先分别将绿三角、红叉、蓝矩形分类出来,这样处理多分类问题的,所以对每个类别c,训练一个logistic回归分类器
f
w
c
(
x
)
f_{\textbf{w}}^{c}(\textbf{x})
fwc(x),预测概率为y=c;当输入一个新的
x
\textbf{x}
x时,选择使的
f
w
c
(
x
)
f_{\textbf{w}}^{c}(\textbf{x})
fwc(x)最大的类别作为其预测。
那么,对于我们的分类器,将从sigmoid(对应二项分布)扩展为softmax函数(对应多项分布Cat):
softmax函数类似取最大函数:
S
(
η
)
c
=
e
x
p
(
η
c
)
∑
c
′
=
1
C
e
x
p
(
η
c
′
)
S(\mathbf{\eta})_{c}=\frac{exp(\eta_{c})}{\sum_{{c}'=1}^{C}exp(\eta_{{c}'})}
S(η)c=∑c′=1Cexp(ηc′)exp(ηc)
综合起来:
softmax回归
引入记号:
则负似然函数:
梯度:
Hessian矩阵为正定:
softmax分类器能够实现多分类功能,是对logistic回归在两分类上的扩展,其优化算法与两类分的logistic回归类似,这里就不累述了。
机器学习笔记5:Softmax分类器的logistic回归
最新推荐文章于 2023-05-21 16:39:50 发布