最近修改：2023/2/3
本文是《从二元逻辑回归到多元逻辑回归 · 数学推导过程完全解析》的第二部分，具体介绍多元逻辑回归，及其背后的数学公式推导和具体python代码实现
对于模型概述请参见第一部分：
二元逻辑回归 · 数学推导过程及代码实现完全解析
多元逻辑回归
模型解释
在这个模型中，自变量，因变量和参数的样子如下，可以看到 y i y_i yi的取值由两元变成了多元。
多元逻辑回归有次序多元逻辑回归和无序多元逻辑回归之分，两者区别就在于因变量 y y y的取值是否有次序，如 y y y的取值类似于1,2,3,4…，则称其为次序多元逻辑回归。
本文这讨论更宽泛的无序情况。
因变量 y y y是一个nx1向量， y i y_{i} yi∈{ w 1 , w 2 , w 3 , . . . , w K w_1,w_2,w_3,...,w_K w1,w2,w3,...,wK}， i = 1 , 2 , 3 , . . . , n i=1,2,3,...,n i=1,2,3,...,n
y = [ y 1 y 2 ⋮ y n ] y= \left[ \begin{matrix} y_1 \\ y_2 \\ \vdots\\ y_n \end{matrix} \right] y= y1y2⋮yn
带截距项的自变量 X X X是一个nx(m+1)的矩阵
X = [ 1 x 11 x 12 . . . x 1 m 1 x 21 x 21 . . . x 2 m ⋮ ⋮ ⋮ 1 x n 1 x n 2 . . . x n m ] X= \left[ \begin{matrix} 1&x_{11}&x_{12}&...&x_{1m}\\ 1&x_{21}&x_{21}&...&x_{2m}\\ \vdots&\vdots&&\vdots\\ 1&x_{n1}&x_{n2}&...&x_{nm} \end{matrix} \right] X=
11⋮1x11x21⋮xn1x12x21xn2......⋮...x1mx2mxnm
带截距项的参数 β k \bm{β_k} βk是一个mx1向量， k = 1 , 2 , 3 , . . . . , K k=1,2,3,....,K k=1,2,3,....,K
β k = [ β k 0 β k 1 β k 2 ⋮ β k m ] \bm{β_k}= \left[ \begin{matrix} β_{k0} \\ β_{k1} \\ β_{k2} \\ \vdots\\ β_{km} \end{matrix} \right] βk=
βk0βk1βk2⋮βkm
与二元逻辑回归的另一个区别就是，多元逻辑回归中用的是softmax函数。
于是我们的自变量和因变量的概率之间的关系可以表示如下
p i k ≜ P ( y i = w k ) = e x i β k ∑ j = 1 K e x i β j (5) p_{ik}\triangleq P(y_i=w_k)=\frac{e^{\bm{x_i}\bm{β_k}}}{\sum_{j=1}^{K}e^{\bm{x_i}\bm{β_j}}}\tag{5} pik≜P(yi=wk)=∑j=1Kexiβjexiβk(5)
整理后的函数p_ik()完整代码请见 代码实现 部分
注：在实际建模中，可能会遇到一个问题， (5)的分母过大，超过计算机能表示的范围，即数据溢出， p i k p_{ik} pik会显示为nan，出现提示：
RuntimeWarning: overflow encountered in exp
解决方案有两个：
法一：
取(5)分母中 x i β j ( j = 1 , 2 , 3 , . . . , K ) x_iβ_j(j=1,2,3,...,K) xiβj</
最低0.47元/天 解锁文章
3255
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
