单变量线性回归
模型描述:
代价函数:
误差平方代价函数对于大多数问题特别是回归问题都是一个合理的选择。
我们的目标是找到使损失函数最小的参数值。
梯度下降:
Batch梯度下降算法:每一步梯度下降都遍历整个训练集的样本
多变量线性回归:
模型表示:
梯度下降:同单变量相同这里省略。
特征缩放:保证特征范围尽可能小并且平均,减少迭代次数。
正规方程:一步解得
不可逆矩阵称之为奇异矩阵或者退化矩阵
不可逆情况:期间某两个特征是比例关系、或者特征远远大于样本数
单变量线性回归
模型描述:
代价函数:
误差平方代价函数对于大多数问题特别是回归问题都是一个合理的选择。
我们的目标是找到使损失函数最小的参数值。
梯度下降:
Batch梯度下降算法:每一步梯度下降都遍历整个训练集的样本
多变量线性回归:
模型表示:
梯度下降:同单变量相同这里省略。
特征缩放:保证特征范围尽可能小并且平均,减少迭代次数。
正规方程:一步解得
不可逆矩阵称之为奇异矩阵或者退化矩阵
不可逆情况:期间某两个特征是比例关系、或者特征远远大于样本数