机器学习算法基础7-线回归与岭回归

最新推荐文章于 2023-12-24 17:24:14 发布

qq_42749341

最新推荐文章于 2023-12-24 17:24:14 发布

阅读量411

点赞数

分类专栏：机器学习-基础知识

本文链接：https://blog.csdn.net/qq_42749341/article/details/107882447

版权

一、线回归

1.线性回归的定义

回归问题的判定？-目标值连续

线性回归：(迭代的算法)
定义：线性回归通过一个或者多个自变量与因变量之间之间进行建模的回归分析。其中特点为一个或多个称为回归系数的模型参数的线性组合

通俗理解，就是属性与权重的线性组合
在这里插入图片描述

一元线性回归：涉及到的变量只有一个
多元线性回归：涉及到的变量两个或两个以上
在这里插入图片描述

通用公式：
在这里插入图片描述

2.线性回归策略-损失函数-最小二乘法

预测结果与真实值的误差大小
误差的平方和
在这里插入图片描述

1）最小二乘法之正规方程

找到最小损失对应的W值，数学原理简单
在这里插入图片描述

2）最小二乘法之梯度下降

在这里插入图片描述

3.sklearn线性回归正规方程、梯度下降API

sklearn.linear_model.LinearRegression
# 正规方程

sklearn.linear_model.SGDRegressor
# 梯度下降

•sklearn.linear_model.LinearRegression()
# 普通最小二乘线性回归

# 方法
coef_：回归系数（就是w）

sklearn.linear_model.SGDRegressor( )
# 通过使用SGD最小化线性模型

# 方法
coef_：回归系数

sklearn优点与缺点：
优点：封装好，建立模型简单、预测简单
缺点：看不到算法的过程，有些参数在算法API内部已经优化好了

tensorflow:封装高低，很多东西可以自己指定