简化代价函数与梯度下降

这种costfunction时由极大似然法得出。
需最小化新的cost function

最大似然估计的目的就是：利用已知的样本结果，反推最有可能（最大概率）导致这样结果的参数值。

首先我们来看看Logistic回归的代价函数：

上面y=1和y=0的代价函数是不同的表达式，我们将其化简合并为同一个表达式：

约定y只能去取0或1.
现将cost的两种情况合并为一种。
使用自锁，将二者分别乘一个系数再相加，以令y取一个值时，另一项为0.

化简后的代价函数：

我们再化简梯度下降算法：

 

使用梯度下降法，求偏导数。
结果看似与线性回归相同，但是由于h变成了sigmoid函数，所欲实质不同。

线性回归的假设函数是蓝色的表达式，Logistic回归的假设函数是红色的表达式。