1、模型表示
单变量线性回归问题
学习算法的解决方案或函数中,只含有一个特征 / 输入 变量
回归问题符号表示
𝑛 :训练集中实例的数量
𝑦 :特征或输入变量
𝑧 :目标变量或输出变量
(𝑦,𝑧) :训练集中的实例
(𝑦 (𝑗) ,𝑧 (𝑗) ) :第𝑗 个观察实例
ℎ :学习算法的解决方案或函数,也称为假设(hypothesis)
2、代价函数(平方误差函数)
建模误差
模型所预测的值与训练集中实际值之间的差距
代价函数
建模误差的平方,目标便是选择出代价函数最小的模型参数
3、梯度下降
作用
求最小值的算法,可应用于线性回归,线性回归模型,平方误差代价函数等
思想
随机选择一个参数的组合,计算代价函数,然后寻找下一个能让代价函数值下降最多的参数组合。直至找到局部最小值。
批量梯度下降算法
:=表示更新数据
a表示学习率,决定沿着代价函数下降程度最大的方向,可以实现下降多少
通过对参数赋值,使J按梯度下降最快方向进行,一直迭代直至得到局部最小值
梯度下降算法中,同时更新数据,是更自然的实现方法
4、梯度下降的线性回归
关键点
求出代价函数的导数
算法