机器学习--监督学习（二）

多项式分布

多项式分布是二项式分布的推广。二项分布的典型例子是扔硬币，硬币正面朝上概率为p, 重复扔$n$次硬币，$k$次为正面的概率即为一个二项分布概率。二项式分布只涉及到两个事件，例如扔硬币的正面与反面，如果将事件个数推广到$k$个，这就是多项式分布。典型的例子是扔骰子，假设扔$n$次，点数$k(k=1, 2 ,3, 4, 5, 6)$出现的$n_k$次的概率$P(n_1, n_2,...n_6)$就是多项式分布。

假设某随机事件有$k$个可能的事件，它们出现的概率分别为$\phi_1, \phi_2, ..., \phi_k$，那么在$n$次试验中它们出现的次数为$n_1, n_2, ..., n_k(n_1+n_2+ ...+n_k = n)$的概率即为多项式分布：

$$P(n_1, n_2, ..., n_k)=C_n^{n_1}C_{n-n_1}^{n_2}...C_{n-n_1-n_2...n_{k-1}}^{n_k}\phi_1^{n_1}\phi_2^{n_2}..\phi_k^{n_k}$$
$$=\frac{n!}{{n_1}!{n_2}!...{n_k}!}\phi_1^{n_1}\phi_2^{n_2}..\phi_k^{n_k}$$
多项式分布的期望为：
$$E(n_1,n_2,...n_k)=(n\phi_1,n\phi_2,...n\phi_k)$$
随机变量 $n_i,i=1,2,...,k$的方差为：
$$b_{ii}=Var({n_i})=n\phi_i(1-\phi_i)$$
随机变量的协方差矩阵为：
$$B_{k \times k}=(b_{ij}),b_{ii}=n\phi_i(1-\phi_i),b_{ij}=-n\phi_i\phi_j$$

Softmax

softmax模型假设后验概率$P(y|x)$服从$n=1$的多项式分布， 即$n_1+n_2+...+n_k=1$，由上式推导可得：

$$P(y|x)=\prod_1^k{\phi_i}^{I\{y=i\}}$$
其中， $I\{s\}$为指示函数，当 $s$为真时，$I\{s\}=1$，否则为0。

因为$\phi_1+\phi_2+ ...+\phi_k = 1$，所以$\phi_k=1-（\phi_1+\phi_2+ ...+\phi_{k-1})$，从而可以省略一个参数，方便计算。同理，$I\{y=k\}=1-\sum_1^{k-1}I\{y=i\}$。
接下来，将其写指数族分布的形式。

$$P(y|x)=\phi_1^{I\{y=1\}} \phi_2^{I\{y=2\}}...\phi_k^{I\{y=k\}}$$
$$=\phi_1^{I\{y=1\}} \phi_2^{I\{y=2\}}...\phi_k^{1-\sum_1^{k-1} {I\{y=k-1\}}}$$
$$=exp(\phi_1^{I\{y=1\}} \phi_2^{I\{y=2\}}...\phi_k^{1-\sum_1^{k-1} {I\{y=k-1\}}})$$
$$=exp(I\{y=1\}log{\phi_1}-I\{y=1\}log{\phi_k}+I\{y=2\}log{\phi_2}-I\{y=2\}log{\phi_k}+...$$
$$+I\{y=k-1\}log{\phi_{k-1}}-I\{y=k-1\}log{\phi_k}+log\phi_k)$$
$$=exp\left(\sum_1^{k-1}{I\{y=i\}log\frac{\phi_i}{\phi_k}}+log\phi_k\right)$$
$$=b(y)exp(\eta^T T(y)-a(\eta))$$
其中， $$b(y)=1$$
$$\eta=\left(log\frac{\phi_1}{\phi_k},log\frac{\phi_2}{\phi_k},...log\frac{\phi_{k-1}}{\phi_k}\right)=\theta^Tx$$
$$a(\eta)=-log\phi_k=-log\left(1-\sum_1^{k-1}{\phi_i}\right)$$
$$T(1)=(1,0,...0)^T, T(2)=(0,1,0,...0)^T, ..., T(k)=(0,0,0...0)^T , 满足T(y)\in R^{k-1}$$

由于

$$\phi_k=1-\sum_{i=1}^{k-1}\phi_i=1-\sum_{i=1}^{k-1}{e^{\eta_i}\phi_k}$$
所以
$$\phi_k=\frac1{1+\sum_{i=1}^{k-1}\eta_i}$$
$$\phi_i=\phi_ke^{\eta_i}=\frac{e^{\eta_i}}{1+\sum_{i=1}^{k-1}{e^{\eta_i}}}$$

根据广义线性模型，写出假设函数$h_\theta=E[T(y)|x]$，这里$T(y)$是一个向量，表示在一次实验中样本属于某一类。亦即：

$$E[T(y)|x]=E[y=i|x]$$
$$=n\phi_i$$
$$=\phi_i$$
$$=\frac{e^{\eta_i}}{1+\sum_{i=1}^{k-1}{e^{\eta_i}}}$$
$$=\frac{e^{\eta_i}}{\sum_{i=1}^{k}{e^{\eta_i}}}$$
$$=\frac{e^{\theta_i x_i}}{\sum_{i=1}^{k}{e^{\theta_ix_i}}}$$
这里令 $\eta_k=0。$

现在的问题转换成如何求解$\theta$。由上文可知，$P(y|x)$服从指数分布，因此问题可以转换成求$P(y|x)$关于$\theta$的最大似然估计。

$$L(\theta)=\prod_{i=1}^{m}\prod_{j=1}^k{\phi_j}^{I\{y^{(i)}=j\}}$$
这里 $m$为样本数，对其取对数：
$$logL(\theta)=\sum_{i=1}^{m}\sum_{j=1}^k I\{y^{(i)}=j\}log\phi_j$$
$$=\sum_{i=1}^{m}\sum_{j=1}^k I\{y^{(i)}=j\}log \frac{e^{\theta_jx_j^{(i)}}}{\sum_{l=1}^k e^{\theta_lx_l^{(i)}}}$$
$$\frac{\partial L(\theta)}{\partial \theta_n} =\sum_{i=1}^{m}\sum_{j=1}^k I\{y^{(i)}=j\} \frac{1}{\phi_i} \frac{\partial \phi_i}{\partial \theta_n}$$

当$n=j$时

$$\frac{\partial \phi_i}{\partial \theta_n}=\phi_j(1-\phi_j)x_j^{(i)}$$
当 $n \neq j$时
$$\frac{\partial \phi_i}{\partial \theta_n}=-\phi_j\phi_nx_j^{(i)}$$

因此，可以得到：

$$\frac{\partial L(\theta)}{\partial \theta_n}=\sum_{i=1}^{m}\left[1\{y^{(i)}=n\}(1-\phi_n)x_j^{(i)}-\sum_{j \neq n}^{k} 1\{y^{(i)}=j\}\phi_n x_j^{(i)}\right]$$

因为 $\sum_{j \neq n}^{k} 1\{y^{(i)}=j\}=1-1\{y^{(i)}=n\}$
所以

$$\frac{\partial L(\theta)}{\partial \theta_j}=\sum_{i=1}^{m}[x_j^{(i)}(1\{y^{(i)}=j\}-\phi_j)]$$

参考文献

1. http://blog.csdn.net/hqh45/article/details/44228715
2. http://123.125.114.20/view/246e9f4669eae009581bec66.html?re=view