一、线性回归
1 假设一个模型函数,初始化函数的参数
2 根据损失函数计算预测值与真实值的差值,求取使得损失函数最小值的参数
线性回归是由训练集得到一个映射关系,当给定待测样本X时,可以通过映射关系得到预测值y
X为特征向量,也为输出值
当X中只有一个特征值时,即X={X1} 学习到的线性模型
当X存在n个特征值时,这时学习到的模型为
X={1,x1,x2,...,xn}
二、损失函数
为了得到线性模型hθ (X),需要获得特征系数矩阵
θ={θ0,θ1,...,θn}
计算特征系数,依靠损失函数
三、梯度下降法求解
在上面,找到了一个特征系数向量θ好坏的利用损失函数 J(θ)表示的是预测值与真实值的差值,当损失函数最小时,
预测值与真实值最接近,即线性拟合最好。
损失函数是关于θ的函数,最小的时候,此时取得的特征系数θ为模型的系数。
梯度下降就是一个不断地最小化损失函数的过程。
从图像上看,先初始化 θi为某个值,然后让θi沿着J(θ)在θi的偏导方向不断地走,直到走到底部收敛为止,
最后可以得到J(θ)最小时的θi的值。
这个不断迭代的过程犹如一个不断下山的过程,我们可以得到图中关于θi的迭代函数,α为步长。
参考:线性回归