机器学习第一课week3-成本函数、损失函数、梯度下降

成本函数

逻辑回归的成本函数与线性回归的成本函数只在形式上类似，逻辑回归的成本函数是对损失函数求和，然后求平均。但两者的意义相同，成本函数越低代表参数的拟合效果越好。

 损失函数

由于直接将逻辑回归函数带入成本函数会导致成本函数非凸，会产生多个局部最优解，所以需要引入损失函数，对损失函数求平均值，可以使成本函数变凸(至于为什么还不清楚，后续会想明白这个问题)，只有一个最优解，然后可以运行梯度下降，找到拟合效果最好的参数。
损失函数：

将其简化为

则成本函数：

公式含义：在进行数据训练时，当训练数据中的y为1的情况下，f的输出越趋近于1则损失函数越小，代表参数的拟合效果越好。当y为0的情况下，f的输出越趋近于0则损失函数越小，代表参数的拟合效果越好。(f代表预测的概率，范围在0-1)。

以预测肿瘤是良性还是恶性为例，当确定肿瘤为恶性(即y=1)，但f的输出远小于1(不认为是恶性肿瘤)，则损失函数越大。

有了损失函数后，可以进行逻辑回归的梯度下降，找到最佳参数。

梯度下降

逻辑回归梯度下降函数与线性回归梯度下降函数形式上相同。