极大似然估计

极大似然估计

极大似然估计是概率的log概率的最大化问题，即max(log（P）)，log函数是单调函数，通常取底数大于1的情况，所以log函数不影响原来概率大小的判断。如果取极大似然函数的相反数，得到的就是我们熟悉的损失函数cost，同时极大似然函数也对应的极小化我们的损失函数。

为什么要有极大似然估计

例子：我与一位猎人一起外出打猎，一只野兔从前方穿过，只听到一声枪响，野兔应声倒下。问是谁打中的呢？
答：极有可能是猎人。
显然候选人就两个，我和猎人。若选择我，则事件发生的发生概率为0.01%，因为我不会打猎；若选择猎人，则事件发生的概率为99%，而事件已经发生，因此选择猎人更为合适。
极大似然法的基本思想在社会思维意识中常有所体现。例如某地发生了一个疑难案件，警察欲破案或民众推测嫌疑人，一般是将重点集中在作案可能性较大的可疑人身上。

极大似然估计的思想

设总体中含有待估参数w，可以取很多值。已经知道了样本观测值（例子中的兔子被猎人打死了），从w的一切可能值中（引例中是我和猎人）选出一个使该观察值出现的概率为最大的值，作为w参数的估计值，这就是极大似然估计。（顾名思义：就是看上去那个是最大可能的意思）

极大似然估计步骤

求极大似然函数估计值的一般步骤：
（1） 写出似然函数；
（2） 对似然函数取对数&#x