机器学习基础--最大似然估计

昨天作报告，讲到机器学习中的基础知识，最大似然估计，老师提了一个问题，就是为什么会写成那个样子，为什么是求argmax，无法回答，于是还是看看概率论吧

机器学习领域，最常用的参数估计准则就是最大似然估计，而且他和我们代价函数最常用的最小均方误差有直接的联系。它的主要思想就是像一位网友说的“眼见为实”。
先说说一个网上的例子，有一个黑箱子里面有100个球，只有黑白两个颜色，一个颜色90个，另一10个，现在我们从黑盒子里任意抽一个，发现是黑球，那么哪个颜色的球是90个？
我们都知道概率越大，事件越有可能发生，反过来，也就是最大似然估计的原理和思想：事件出现发生，它的概率即应该是较大的那个。那么上述例子，按照最大似然估计的思想来推导出发现黑色球有90个，白色10个。

数学表述

假设一次试验，有n个可能结果$A_1,A_2,...A_n$,假如其中$A_i$发生了，则认为$A_i$在这n个结果中的概率最大。
最大似然估计就是一次抽样过程中，得到一组观测值$x_1,x_2,...,x_n$,取$\hat{\theta}(x_1,x_2,...,x_n)$为$\theta$的参数估计，则有$\theta = \hat{\theta}$时，$x_1,x_2,...,x_n$出现概率最大。

最大似然函数估计

从似然函数讲起:以离散型变量为例，连续型类似；
首先假定总体$X$属于离散型，其分布律$p(X=x) = p(x,\theta)$,其中$\theta$是待定参数，假设 X1,X2,...X