拟合logistic回归算法参数、代价函数简化

从如何拟合logistic回归算法的假设函数的参数开始
即定义用来拟合参数的优化目标或者说是代价函数

往往右边使用梯度下降得到的是凸函数。左边往往得到的是非凸函数。

上图是y=1时的图像（Cost关于h的函数）（预测值与目标值（y=1）相差越大，Cost越大)

上图是y=0时的图像（Cost关于h的函数）

为了避免把代价函数分成y=0和y=1两种情况来写，用一种方法把两个式子合并成一个等式

写出logistic回归的代价函数

然后使用梯度下降法最小化这个代价函数

与在线性回归中一样，这里同样需要监控梯度下降算法是否正常工作，logistic回归同样适用特征缩放法来控制收敛速度

高级优化
一些高级优化算法可以大大提高logistic回归的运行速度
例如 共轭梯度法，BFGS和L-BFGS

需要一种方法来计算J,也需要一种方法来计算导数项，比梯度下降更复杂
这三种算法的优势：
（1）不需要手动选择学习率
（2）成功使用这些算法可能并不需要完全弄懂这些算法的内循环