机器学习入门：第七章 广义线性模型 Softmax原理(2)

Softmax迭代推导

Softmax属于多可能性分类，如数字的识别，0到9，10种可能性。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-e0ORfKDO-1649987735466)(/images/kuxue/machine_learning/Softmax.png)]

假设有k种分类：$y\in 1,2,...,k$，每种分类对应的概率：${\varphi }_1,{\varphi }_2,...,{\varphi }_k$，由全概率公式可以得到${\sum }_{i=1}^k{\varphi }_i=1$，则${\varphi }_i=1-{\sum }_{i=1}^{k-1}{\varphi }_{k-1}$，。

构建广义线性模型：

引入$T(y)$，它是k-1维的向量，因为第k维可以用前面k-1维表示出，如下：

$$T(1)=\left(\begin{array}{c}1\\ 0\\ 0\\ 0\\ ...\\ 0\end{array}\right),T(2)=\left(\begin{array}{c}0\\ 1\\ 0\\ 0\\ ...\\ 0\end{array}\right),T(3)=\left(\begin{array}{c}0\\ 0\\ 1\\ 0\\ ...\\ 0\end{array}\right),...,T(k-1)=\left(\begin{array}{c}0\\ 0\\ 0\\ 0\\ ...\\ 1\end{array}\right),T(k)=\left(\begin{array}{c}0\\ 0\\ 0\\ 0\\ ...\\ 0\end{array}\right)$$

引入指示函数：$\mu$，用$\mu (y=i)=1$表示属于i分类，同样$\mu (y=i)=0$，表示不属于i分类。
构建概率密度函数为：

$$\begin{gathered} P(y;\varphi )={\varphi }_1^{\mu (y=1)}\bullet {\varphi }_2^{\mu (y=2)}...{\varphi }_k^{\mu (y=k)} \\ ={\varphi }_1^{\mu (y=1)}\bullet {\varphi }_2^{\mu (y=2)}...{\varphi }_k^{1-{\sum }_{i=1}^{k-1}\mu (y=k)} \\ ={\varphi }_1^{T(y)1}\bullet {\varphi }_2^{T(y)2}...{\varphi }_k^{1-{\sum }_{i=1}^{k-1}T(y)k} \\ =exp(T(y)1\bullet ln{\varphi }_1+(T(y)2\bullet ln{\varphi }_2)+...+(1-\sum _{i=1}^{k-1}T(y{)}_i)\bullet ln{\varphi }_k) \\ =exp(T(y)1\bullet ln\frac{{\varphi }_1}{{\varphi }_k}+(T(y)2\bullet ln\frac{{\varphi }_2}{{\varphi }_k})+...+T(y{)}_{k-1}\bullet ln\frac{{\varphi }_{k-1}}{{\varphi }_k}+ln{\varphi }_k) \end{gathered}$$

对比指数分布族：

$$\eta =\left(\begin{array}{c}ln\frac{{\varphi }_1}{{\varphi }_k}\\ ln\frac{{\varphi }_2}{{\varphi }_k}\\ ...\\ ln\frac{{\varphi }_{k-1}}{{\varphi }_k}\end{array}\right),b(y)=1,a(\eta )=-ln{\varphi }_k，则{\eta }_i=ln\frac{{\varphi }_i}{{\varphi }_k}\Rightarrow {\varphi }_i={\varphi }_k\bullet e^{{\eta }_i}$$

根据广义线性模型第三点：

$\eta ={\theta }^{T}x$

最终可以得到

$${\varphi }_k(e^{{\eta }_1}+e^{{\eta }_2}+...+e^{{\eta }_i})=1\Rightarrow {\varphi }_k=\frac{1}{{\sum }_{j=1}^k{e}^{{\eta }_j}}\Rightarrow {\varphi }_i=\frac{e^{{\eta }_i}}{{\sum }_{j=1}^k{e}^{{\eta }_j}}=\frac{e^{{\theta }_{i}x}}{{\sum }_{j=1}^k{e}^{{\theta }_{j}x}}$$

$$h\theta (x)=E[T(y)|x;\theta ]=\left(\begin{array}{c}{\varphi }_1\\ {\varphi }_2\\ ...\\ {\varphi }_{k-1}\end{array}\right)=\left(\begin{array}{c}\frac{e^{{\theta }_1^{T}x}}{{\sum }_{j=1}^k{e}^{{\theta }_1^{T}x}}\\ \frac{e^{{\theta }_1^{T}x}}{{\sum }_{j=2}^k{e}^{{\theta }_1^{T}x}}\\ ...\\ \frac{e^{{\theta }_{k-1}^{T}x}}{{\sum }_{j=1}^k{e}^{{\theta }_1^{T}x}}\end{array}\right)$$

构建极大似然函数：

$$L(\theta )=\sum _{i=1}^m(ln\prod _{l=1}^k(\frac{e^{{\theta }_l^T{x}^{(i)}}}{{\sum }_{j=1}^k{e}^{{\theta }_j^{T}x}}{)}^{\mu (y^{(i)=l})})=\sum _{i=1}^m(\sum _{l=1}^k\mu (y^i=l)\bullet ln(\frac{e^{{\theta }_l^T{x}^{(i)}}}{{\sum }_{j=1}^k{e}^{{\theta }_j^T{x}^i}}))$$

$$\frac{\partial L(\theta )}{\partial {\theta }_l}=\sum _{i=1}^m(\mu (y^{(i)}=l)-(\frac{e^{{\theta }_l^T{x}^{(i)}}}{{\sum }_{j=1}^k{e}^{{\theta }_j^T{x}^i}})\bullet x^{(i)})$$

利用梯度上升公式，更新：

$${\theta }_l={\theta }_l+\partial \frac{\partial L(\theta )}{\partial {\theta }_l}$$

Softmax 回归有一个不寻常的特点：它有一个“冗余”的参数集。为了便于阐述这一特点，假设我们从参数向量${\theta }_j$ 中减去了向量$\psi$ ，这时，每一个${\theta }_j$ 都变成了 ${\theta }_j-\psi (j=1,...,k)$。此时假设函数变成了以下的式子：

$$p(y(i)=j|x(i);\theta )=\frac{e^{{(\theta j-\psi )}^T{x}^{(i)}}}{{\sum }_{j=1}^k{e}^{{(\theta j-\psi )}^T{x}^{(i)}}}=\frac{e^{{(\theta j)}^T{x}^{(i)}}{e}^{{(-\psi )}^T{x}^{(i)}}}{{\sum }_{j=1}^k{e}^{{(\theta j)}^T{x}^{(i)}}{e}^{{(-\psi )}^T{x}^{(i)}}}=\frac{e^{{(\theta j)}^T{x}^{(i)}}}{{\sum }_{j=1}^k{e}^{{(\theta j)}^T{x}^{(i)}}}$$

当类别数k=2 时，softmax 回归退化为 logistic 回归。这表明 softmax 回归是 logistic 回归的一般形式。具体地说，当 k=2 时，softmax 回归的假设函数为：

$$h\theta (x)=\frac{1}{e^{{\theta }_1^{T}x}+e^{{\theta }_2^{T}x}}\left(\begin{array}{c}{e}^{{\theta }_1^{T}x}\\ e^{{\theta }_2^{T}x}\end{array}\right)$$

利用softmax回归参数冗余的特点，我们令 $\psi ={\theta }_1$，并且从两个参数向量中都减去向量${\theta }_1$ ，得到:

$$h\theta (x)=\frac{1}{e^{({\theta }_1-{\theta }_1{)}^{T}x}+e^{({\theta }_2-{\theta }_1{)}^{T}x}}\left(\begin{array}{c}{e}^{({\theta }_1-{\theta }_1{)}^{T}x}\\ e^{({\theta }_2-{\theta }_1{)}^{T}x}\end{array}\right)=\left(\begin{array}{c}\frac{1}{1+e^{({\theta }_2-{\theta }_1{)}^{T}x}}\\ 1-\frac{1}{1+e^{({\theta }_2-{\theta }_1{)}^{T}x}}\end{array}\right)$$

因此，用${\theta }^{.}$来表示 ，我们就会发现 softmax 回归器预测其中一个类别的概率为$\frac{1}{1+e^{({\theta }_2-{\theta }_1{)}^{T}x}}=\frac{1}{1+e^{({\theta }^{.}{)}^{T}x}}$ ，另一个类别概率的为$1-\frac{1}{1+e^{({\theta }_2-{\theta }_1{)}^{T}x}}=1-\frac{1}{1+e^{({\theta }^{.}{)}^{T}x}}$ ，这与 logistic回归是一致的。

总结

softmax算法在机器学习里占有很重要的地位，虽然很多机器学习的学习包已经高度的集成了softmax算法，但从推到的过程中，可以看到很多的知识点，好像看到了算法的机器学习算法推到的大统一。广义线性模型，解释了机器学习算法的很多问题，最小二乘法的理论依据，Logistic回归Sigmoid函数的由来，softmax 的推到，进一步解释了Logistic回归和softmax的关系，理论的依据终于贯通了，可以放心了。