机器学习 笔记 （二）logistic regression

逻辑回归(Logistic Regression）

一、代价函数
由之前所学可知线性回归的代价函数为：

逻辑回归模型中如果继续沿用线性回归模型的代价函数，将会得到一个非凸函数。
所以重新定义逻辑回归的代价函数为：
其中
这样构建的代价函数的特点：当实际的y=1且h(x)也为1时误差为0，
当y=1但h(x)不为1时误差随着h(x)变小而变大；当实际的y=0且h(x)也为0时代价为0，当y=0但h(x)不为0时误差随着h(x)的变大而变大。
简化模型：

带入代价函数得到：

简化的函数和梯度下降
逻辑回归中用最小化代价函数的方法，是梯度下降法，正是做线性回归梯度下降的式子。

但是不同于线性回归，他们更新参数的规则看起来基本相同，但由于假设的定义发生了变化，所以逻辑函数的梯度下降，跟线性回归的梯度下降实际上是两个完全不同的东西。