代价函数和梯度下降

一、代价函数

1.1线性函数

1.2代价函数（平方误差函数）

用于获得与建模误差的平方和能够最小的模型参数

二、梯度下降

2.1梯度下降

用于求函数最小值的算法。
算法思想：开始时随机选择一个参数的组合，计算代价函数，然后寻找下一个能让代价函数下降最多的参数组合，继续执行上述内容直到找到一个局部最小值。

2.2批量梯度下降

算法公式：
其中α是学习率，决定我们沿着能让代价函数下降程度最大的方向向下迈出的步子有多大。
在批量梯度下降中，我们每一次都同时让所有的参数减去学习速率乘以代价函数的导数。

如果初始化在局部最低点，那么梯度下降跟新其实什么都没做，不改变参数的值

三、梯度下降的线性回归

梯度下降算法

线性回归算法


运用梯度下降法，求出代价函数的导数

j=0时：

j=1时：