机器学习之softmax回归

@(机器学习)[回归]
#Softmax回归详解
在softmax回归中，我们解决的是多分类问题（相对于logistic回归解决的二分类问题），标记$y$可以取$k$个不同的值。对于训练集$\{(x^{(1)},y^{(1)}),\cdots ,(x^{(m)},y^{(m)})\}$，我们有 y ( 1 ) ∈ { 1 , 2 , ⋯   , k } y^{(1)}\in \{1,2,\cdots,k\} y(1)∈{1,2,⋯,k}。
对于给定的测试输入$x$，我们相拥假设函数针对每一个类别$j$估算出概率值$P(y=j|x)$。因此，我们的假设函数要输出一个$k$维的向量（向量元素的和为1）类表示$k$个估计的概率值。我们采用如下形式的假设函数$h_{\theta }(x)$：
$$h_{\theta }(x^{(i)})=\left[\begin{array}{c}P(y^{(i)}=1|x^{(i)};\theta )\\ P(y^{(i)}=2|x^{(i)};\theta )\\ ⋮\\ P(y^{(i)}=10|x^{(i)};\theta )\end{array}\right]=\frac{1}{{\sum }_{j=1}^k{e}^{{\theta }_j^T{x}^{(i)}}}=\left[\begin{array}{c}{e}^{{\theta }_1^T{x}^{(i)}}\\ e^{{\theta }_2^T{x}^{(i)}}\\ ⋮\\ e^{{\theta }_k^T{x}^{(i)}}\end{array}\right]\text{\hspace{1em}(1)}$$
参数$\theta$是一个$k\times (n+1)$的参数矩阵
$$P(y^{(i)}|x^{(i)};\theta )=\prod _{j=1}^k{\left\{\frac{e^{{\theta }_j^T{x}^{(i)}}}{{\sum }_{l=1}^k{e}^{{\theta }_l^T{x}^{(i)}}}\right\}}^{1(y^{(i)}=j)}\text{\hspace{1em}(2)}$$
似然函数为：
$$\begin{array}{rl}L(\theta )& =P(\mathbf{Y}|\mathbf{X};\theta )\\ & =\prod _{i=1}^{m}P(y^{(i)}|x^{(i)};\theta )\\ & =\prod _{i=1}^m\prod _{j=1}^k{\left\{\frac{e^{{\theta }_j^T{x}^{(i)}}}{{\sum }_{l=1}^k{e}^{{\theta }_l^T{x}^{(i)}}}\right\}}^{1(y^{(i)}=j)}\end{array}$$
对数似然函数为：
$$\begin{array}{rl}l(\theta )& =\log L(\theta )\\ & =\sum _{i=1}^m\sum _{j=1}^{k}1(y^{(i)}=j)\log \frac{e^{{\theta }_j^T{x}^{(i)}}}{{\sum }_{l=1}^k{e}^{{\theta }_l^T{x}^{(i)}}}\end{array}$$
我们将训练模型参数$\theta$使其能够最小化代价函数：
$$J(\theta )=-\frac{1}{m}\left[\sum _{i=1}^m\sum _{j=1}^{k}1(y^{(i)}=j)\log \frac{e^{{\theta }_j^T{x}^{(i)}}}{{\sum }_{l=1}^k{e}^{{\theta }_l^T{x}^{(i)}}}\right]\text{\hspace{1em}(5)}$$