令参数
,其中
。
![P(Y=c_k)=\theta_k](https://i-blog.csdnimg.cn/blog_migrate/5b867677a5729e36a141fab21fd0e92d.png)
![k\in \left\{ 1,2..K \right\}](https://i-blog.csdnimg.cn/blog_migrate/6136ca443c89a7c6b36a62c20972fe41.png)
那么随机变量Y的概率可以用参数来表示为一个紧凑的形式
![P(Y)=\sum_{k=1}^{K}{\theta_k} I(Y=c_k)](https://i-blog.csdnimg.cn/blog_migrate/ff80bf563dde31575dc38486a92ad89b.png)
![Y=c_k](https://i-blog.csdnimg.cn/blog_migrate/2cae07d96c2043a21116aa3cc91ba979.png)
极大似然函数
![L(\theta_k;y_1,y_2..y_N)=\prod_{i=1}^{N}P(y_i) =\prod_{k=1}^{K}\theta_k^{N_k}](https://i-blog.csdnimg.cn/blog_migrate/6bc3d9da6d35aba28f5c1f49eb5f34f2.png)
![N_k](https://i-blog.csdnimg.cn/blog_migrate/ef18e46c547011f21d5c8bc4bcfafa3d.png)
![Y=c_k](https://i-blog.csdnimg.cn/blog_migrate/2cae07d96c2043a21116aa3cc91ba979.png)
![l(\theta_k)=ln(L(\theta))=\sum_{k=1}^{K}{N_k ln\theta_k}](https://i-blog.csdnimg.cn/blog_migrate/a2e4377177b329ce29715028ed95e53a.png)
要求该函数的最大值,注意到约束条件
可以用拉格朗日乘子法,即
,求导就可以得到:
联立所有的k以及约束条件得到
,完毕
![\sum_{k=1}^{K}{\theta_k} =1](https://i-blog.csdnimg.cn/blog_migrate/b0d114dfcdcc8d753fe5ea0a8fdf729f.png)
![l(\theta_k,\lambda)=\sum_{k=1}^{K}{N_k ln\theta_k} +\lambda(\sum_{k=1}^{K}{\theta_k} -1)](https://i-blog.csdnimg.cn/blog_migrate/246cab00a28b9e991880653e49d214f0.png)
![\frac{N_k}{\theta_k}+\lambda=0](https://i-blog.csdnimg.cn/blog_migrate/1658d73055912aeeb271412c991f8a60.png)
![\theta_k=\frac{N_k}{N}](https://i-blog.csdnimg.cn/blog_migrate/22976ac5831b7c4a8c8e062ecb8ce0ee.png)
作者:Fisher
链接:https://www.zhihu.com/question/33959624/answer/93958363
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。