3.【Python】分类算法—Softmax Regression

3.【Python】分类算法—Softmax Regression

---

前言

Softmax回归算法主要用于多分类问题，是逻辑回归算法的推广，值得注意的是，Softmax回归算法中任意两个类是线性可分的。

---

一、Softmax Regression模型

1.Softmax Regression模型

对于Softmax Regression模型，输入特征为$X^{(i)}ϵR^{n+1}$，类标记为$y^{(i)}ϵ0,1，...,k$。假设函数为每一个样本估计其所属的类别的概率$P(y=j|X)$。具体假设函数如下，其中$\Theta$表示向量。

则对于每一个样本估计其所属的类别的概率为：

2.Softmax Regression的损失函数

在Softmax Regression算法的损失函数中引入指令函数$I(\cdot )$，表示为：

与Logistic Regression算法中对于损失函数的处理方式类似，都采用极大似然法，并以负的log似然函数作为损失函数，表示为：

$I\left\{y^{(i)}=j\right\}$表示属于第j类时，$I\{$