Multinomial 回归多分类推导

关于多分类问题，一般来讲有两种常见方法：1. one vs rest [“ovr”]; 2. Multinomial 回归。

本文介绍的为第二种方式，即：
假设样本的目标变量服从Multinomial Distribution， 通过最大化目标变量的似然概率来求得模型的解。

首先，我们假设样本的类别预测的概率分布函数 $\pi$ 来表达，形式如下：

$$\pi(f_{ij}) =\frac{e^{f_{ij}}}{\sum_k{e^{f_{ik}}}}\tag{1}$$
其中： $i$ 为样本编号， $j$ 为类别编号， $f_{ij}$ 为样本 $i$ 在类别 $j$ 上的得分， $\pi(f_{ij})$ 表示样本 $i$ 归属到类别 $j$ 的概率。

通过公式（1）不难发现该函数有如下性质：

1. $\pi(f_{ij}) \ge 0$
2. $\sum_{j = 1}^k\pi(f_{ij})=1$
3. $\pi(f_{iv}), \ \ \ y_{iv}=1$ tends to be large

我们发现这是一个性质很好的函数，它其实是由最大熵原则（maximum entropy principle）推导得到，这里提一下，不做展开。

在得到了样本的预测结果后，使用交叉熵来衡量预测结果与实际结果的差距，并以此来构造损失函数，如下为样本 $i$ 的损失函数：

$$L(i) = \sum_k\left[ {y_{ik} \cdot ln({\pi(f_{ik})}}) \right]\tag{2}$$

同时由 $IID$ 假设得到整体样本集的损失函数表示为：

$$Loss = \sum_i{L(i)}\tag{3}$$

又因为，和的导数等于导数和，即：

∂Loss∂f