机器学习-线性回归

1、线性回归模型简介

线性回归，就是能够用一个直线较为精确地描述数据之间的关系。这样当出现新的数据的时候，就能够预测出一个简单的值。线性回归中最常见的就是房价的问题。一直存在很多房屋面积和房价的数据，如下图所示：

在这种情况下，就可以利用线性回归构造出一条直线来近似地描述放假与房屋面积之间的关系，从而就可以根据房屋面积推测出房价。

2、一元线性回归的函数模型及其求解方法

通过线性回归构造出来的函数一般称之为了线性回归模型。线性回归模型的函数一般写作为：

通过线性回归算法，我们可能会得到很多的线性回归模型，但是不同的模型对于数据的拟合或者是描述能力是不一样的。我们的目的最终是需要找到一个能够最精确地描述数据之间关系的线性回归模型。这是就需要用到代价函数。代价函数就是用来描述线性回归模型与正式数据之前的差异。如果完全没有差异，则说明此线性回归模型完全描述数据之前的关系。如果需要找到最佳拟合的线性回归模型，就需要使得对应的代价函数最小，相关的公式描述如下：

Hypothesis，表示的就是线性回归模型；Cost Function，代价函数；Goal，就是要求对应的代价函数最小。

其中表示学习率。

4、多元线性回归

多元线性回归即y的值的影响因素不止有一个时，可以表示为：

4.1标准方程法求解多元线性回归

1）基础知识

首先：

 1/2m最终等式右边等于零，且不影响求导，故后续公式中省略

所以有：(重点)

使用前文给出的基本公式，开始计算d(J(theta))/d(theta)：

令其等于零，即可

4.2梯度下降法求解多元线性回归

见上面理论推导过程。

参考文献

https://baijiahao.baidu.com/s?id=1622335010099956389&wfr=spider&for=pc

https://www.ai-xlab.com/

https://blog.csdn.net/qq_31293215/article/details/83181851