简单粗暴理解与实现机器学习线性回归（四）：线性回归的损失和优化、损失函数、优化算法、正规方程、梯度下降

最新推荐文章于 2023-05-11 11:52:13 发布

汪雯琦

最新推荐文章于 2023-05-11 11:52:13 发布

阅读量1.7k

点赞数 1

分类专栏：【机器学习与深度学习】文章标签：算法 python 机器学习人工智能深度学习

本文链接：https://blog.csdn.net/qq_35456045/article/details/104643017

版权

本文深入探讨线性回归的损失和优化，包括损失函数、正规方程和梯度下降。介绍了正规方程的求解与缺点，以及梯度下降法的工作原理和应用。通过实例解析了梯度下降的单变量和多变量情况，并阐述了学习率的重要性。

摘要由CSDN通过智能技术生成

线性回归

学习目标

掌握线性回归的实现过程
应用LinearRegression或SGDRegressor实现回归预测
知道回归算法的评估标准及其公式
知道过拟合与欠拟合的原因以及解决方法
知道岭回归的原理及与线性回归的不同之处
应用Ridge实现回归预测
应用joblib实现模型的保存与加载

2.4 线性回归的损失和优化

在这里插入图片描述
假设刚才的房子例子，真实的数据之间存在这样的关系

真实关系：真实房子价格 = 0.02×中心区域的距离 + 0.04×城市一氧化氮浓度 + (-0.12×自住房平均房价) + 0.254×城镇犯罪率

那么现在呢，我们随意指定一个关系（猜测）

随机指定关系：预测房子价格 = 0.25×中心区域的距离 + 0.14×城市一氧化氮浓度 + 0.42×自住房平均房价 + 0.34×城镇犯罪率

请问这样的话，会发生什么？真实结果与我们预测的结果之间是不是存在一定的误差呢？类似这样样子

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-cptCokLX-1583244411299)(../images/%E6%88%BF%E5%B1%8B%E4%BB%B7%E6%A0%BC%E5%9B%9E%E5%BD%92%E4%B8%BE%E4%BE%8B.png)]

既然存在这个误差，那我们就将这个误差给衡量出来

1 损失函数

总损失定义为：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ifaS17Ht-1583244411300)(../images/%E7%BA%BF%E6%80%A7%E5%9B%9E%E5%BD%92%E6%8D%9F%E5%A4%B1%E5%87%BD%E6%95%B0.png)]