(斯坦福机器学习课程笔记)用广义线性模型推导softmax

定义示性函数$1 \{ bool式子\}$，当bool式子为真，示性函数为1，反之为0.

多项式分布：

$$P(y;\phi_1,\phi_2,\phi_3......\phi_k)$$
上式等于： $$\prod_{i=1}^{k}\phi_i^{1\{y=i\}}=\prod_{i=1}^{k-1}\phi_i^{1\{y=i\}}\phi_k^{1\{y=k\}}$$
上式等于： $$exp(\sum_{i=1}^{k-1}1\{y=i\}ln\phi_i+(1-\sum_{l=1}^{k-1}1\{y=l\})ln(1-\sum_{l=1}^{k-1}\phi_l))$$
上式等于：
$$exp(\sum_{i=1}^{k-1}1\{y=i\}ln\frac{\phi_i}{1-\sum_{l=1}^{k-1}\phi_l}+ln(1-\sum_{l=1}^{k-1}\phi_l))$$ 上式也等于:
$$exp(\sum_{i=1}^{k-1}1\{y=i\}ln\frac{\phi_i}{\phi_k}+ln\phi_k)$$
得到softmax的广义线性模型参数为
$b(y)=1$
$a(\eta)=-ln\phi_k$
$T(y)=\sum_{i=1}^{k-1}1\{y=i\}$
$\eta_i=ln\frac{\phi_i}{\phi_k}$ 这是个矩阵形式的式子。

根据$\eta_i=ln\frac{\phi_i}{\phi_k}$ 和 $\sum_{j=1}^k\phi_j=1$ 得

$$\phi_j=\frac{e^{\eta_j}}{\sum_{j=1}^ke^{\eta_j}}$$

对于有m个样本，k个类别的分类问题，似然函数为

$$L(\theta)=\prod_{i=1}^mP(y^{(i)}|x^i;\theta)=\prod_{i=1}^m\prod_{j=1}^k\phi_j^{1\{y^i=j\}}$$
写成对数形式
$$l(\theta)=\sum_{i=1}^m\sum_{j=1}^k1\{y^i=j\}log\phi_j$$
迭代公式为
$$\theta_j:=\theta_j+a(\frac{1}{m}\sum_{i=1}^mx^i(1\{y^i=j\}-\phi_i))$$