线性回归详解-CSDN博客

本文链接：https://blog.csdn.net/fengxinlinux/article/details/86556584

最近学习了线性回归的模型，也是机器学习中最基础的一种模型。在此，总结一下线性回归的模型介绍、梯度下降以及正规方程。

回归问题

线性回归，顾名思义，属于回归问题。既然是回归问题，那必然属于监督学习。
在这里简单再介绍一下什么是回归问题，回归用于预测输入变量和输出变量之间的关系，特别是当输入变量的值发生变化时，输出变量的值随之发生的变化。回归模型正是表示从输入变量到输出变量之间映射的函数，回归问题的学习等价于函数拟合：选择一条函数曲线使其很好地拟合已知数据且很好地预测未知数据。

线性回归模型

线性回归的定义是：目标值预期是输入变量的线性组合。线性模型形式简单、易于建模，但却蕴含着机器学习中一些重要的基本思想。线性回归，是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。
简单来说，就是选择一条线性函数来很好的拟合已知数据并预测未知数据。

模型描述

回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。

举一个简单的例子，比如房价和房间大小的关系。根据我们的生活经验，我们知道房价和房间大小存在着正相关的关系，即房价通常随着房间的大小增大而增大。
假设我们现在手里有一些数据，这些数据就是相应的房间大小与其对应的房价。如图：
在这里插入图片描述
因此，我们可以根据已有的数据集，找到一条最合适的直线，来预测其他房间大小对应的价格。如图：

这个例子就是一个一元线性回归的问题，因为一元线性回归可以看成是多元线性回归的一个简单情况。所以，我们直接引出多元线性回归模型的定义。

多元线性回归模型定义：
$\begin{aligned}h_{\theta }\left( x^i\right) =\theta _{0}+\theta _{1}x_{1}+\theta _{2}x_{2}+\ldots +\theta _{n}x_{n}\end{aligned}$
我们默认x0总是等于1。
为了方便表示，我们把假设函数可以写成向量的形式。
$\begin{aligned}h_{\theta }\left( x^i\right) =\theta ^{T}X\\ .\end{aligned}$
其中，
$\theta =\left[ \theta _{0},\theta _{1},\ldots ,\theta _{n}\right] ^{T}$
$X=\left[ 1,X_{1},X_{2},...,x_{n}\right] ^{T}$