利用逻辑回归的例子理解最大似然估计

在吴恩达机器学习第6章，有个例子，正解是θ=[-3 1 1]，分界线是h_θ=0.5

g(z)=0.5时，z=0

z=0，同时θ=[-3 1 1]，带入g（θ0+θ1x1+θ2x2）后得到：-3+x1+x2=0，即直线x1+x2=3。

按这个函数的划分，计算出的已有的所有样本的概率之和∑h_θ是最大的，可以做个比较，把θ=[-3 1 1]换成θ=[0 -1 1]再通过h_θ函数计算概率和∑h_θ，不论θ换成什么，都不会超过θ=[-3 1 1]时的概率和，这就是最大似然概率。

按照样本实际是红叉还是篮圈，计算概率和时需要换算，实际是红叉的样本直接用概率原始值，实际是蓝○的样本，计算时，先要用1减去概率原始值，得到估计概率。
由于概率是判断每个样本成为红×的概率，蓝○的概率需要用1减去计算值，比如最左下角的概率0.1表示这个点成为红×的概率是0.1（概率很低，基本不可能），所以成为蓝○的概率是1-0.1=0.9（概率很高），求和时所有蓝○的概率都需要用后者（0.9）。
总和是 0.67+0.7+0.71+0.7+0.76+0.8+0.8+0.8+0.87+0.88 （所有红叉的概率和） + （1-0.3）*4+（1-0.25）+(1-0.2)*2+(1-0.1) (所有蓝○的概率和) =10.74

如果假设θ=[0 -1 1]：

原本在正确的概率估计函数中，每个样本的估计概率都大于0.5，也就是说估计函数判断是正确的，但是一旦调整估计函数的θ，就会出现上图两个红圈中的样本，按照估计函数计算的概率小于0.5，显然求概率和会偏小
概率和=0.22+0.32+0.42+0.72+0.8*2（红叉样本的概率和）+ （1-0.2 ）+1-0.3 + （1-0.4）*2 +1-0.48 +（1-0.6）*2+1-0.8 (蓝色圈的概率和) =7.02

这就是对最大似然估计 在实际应用中的理解.

h_θ有最大值，代价函数与h_θ增减方向相反，所以代价函数可以求最小值。