机器学习中逻辑回归求解代价函数中的多极大似然估计

极大似然估计(Maximum Likelihood Estimate)MLE

百度百科中解释：极大似然估计，只是一种概率伦在统计学中的应用，它是参数估计的方法之一。说的是已知某个随机样本满足某种概率分布，但是其中具体的参数不清楚，参数估计就是通过若干次实验，观察其结果，利用结果推出参数的大概值。极大似然估计是建立在这样的思想，已知某个参数能使这个样本出现的概率最大，我们当然不会再去选择其他小的概率大样本，所以干脆就把这个参数作为估计大真实值

极大似然估计主要有两种

1.离散型统计模型：

其概率分布为。 ​​​​​​

L(θ)​ 表示为样本的似然函数

2.连续型统计模型

f(xi;θ)表示概率密度函数，∏_(i=1)^n▒〖f(xi;θ)〗表示其联合概率密度

似然函数的直观意义：刻画参数θ与数据的匹配程度

假设共有n个样本，x的取值为1，或者2，其中x取1有n1个，x取2有n2个；n1+n2=n
设有

x	1	2
p	θ	1- θ

直观表示θ=n1/n； 1- θ=n2/n
使用似然函数表示法：

使L(θ)最大化，
即是求导数，但是由于似然函数本身的复杂性，所以让其求导简单化，所以求极大似然函数估计值的一般步骤为：
（1） 写出似然函数；

（2） 对似然函数取对数，并整理；

（3） 求导数 ；

（4） 解似然方程 。

使得导数为0

得出
从上述例子得知，极大似然估计是找到一个统一的方法，使得解出的概率让其和直觉得出的结果相统一。