吴恩达机器学习笔记二 代价函数 梯度下降

成本函数

误差(error): 预测值y^和真实值y之间的差

平方误差成本函数（squared error cost function），除以2是为了后续计算方便

梯度下降

1.从某个 w 和 b 开始，线性回归中初始值不重要，通常将它们都设为0.

2.不断改变 w,b 来减小成本函数 J(w,b）

3.重复2直到 J 达到或接近最小值（J可能有多个最小值）

 例：站在最高的山顶，假设要最快走到山谷，从所有的方向挑一个最陡的走一步，到达一个新位置，然后重复该步骤。

可能会找到不同的最小值，都是局部最小值。

α为学习率，也叫步长，通常是一个0-1之间的一个小的正数，如0.01。

两个参数同时更新，不能用更新后的 w 计算 b 。