学习机器学习四 回归模型——线性回归、L1正则化(Lasso回归)、L2正则化(ridge回归)

还记得什么是回归吗？回忆下回归就是连续的输出，分类是离散的。

回归模型一般分为：①线性回归——就是线性方程，类似为一元一次方程（y=wx+b），比如你的年龄；

                                ②逻辑回归（类似为曲线方程）

线性回归

先来详细的学习下线性回归，线性回归就是回归模型中最简单的，就像一元一次方程（y=wx+b）是数学方程组中最简单易学的一样。假设我们要知道y的取值范围，我们只需要知道w和b的值就可以了。

打个比方来说，我们来预测下某房子的价格，在这个问题中我们正常会需要两个特征，一个是房子地段信息，一个是房子面积。不难理解吧，这时候我们可以构建一个数学方程ŷ =x1+x2+b（b是常数，可要可不要）。

其中x1代表地段，这个地段的值肯定是某一个变量（也称权重系数）w和基础数值f组成的，比如地段平均是3000，好的地段和不好的地段之间肯定存在某一个变量w来决定价值，才能决定地段的高低之分，即x1=w₁f₁。所以我们的方程又可以变成——   ŷ =w₁f₁+x2+b，能理解吗？

接着分解x2代表的面积b，我们详细分解下，如果有建筑面积和套内面积等，我们也可以找到一个方程组打个比方x₂f₂来表示只针对面积的对吧，那么问题解就变成了ŷ =w₁f₁+w₂f₂+b。

我们接着可以看出来，我们关键点就在w₁和w₂上，也就是说线性回归的目标就是学习这两个权重系数：w₁和w₂。

注意下：有多少特征就有多少X，仅有一个特征变量的特殊例子，我们叫做简单线性回归。有M个特征的，就可以分解出M个权重系数，用公式表达为：

我们再稍深入的理解下这个线性方程模型，如果只有一个特征，那么ŷ 的取值就是一条线对吧（ŷ =w₁f₁+b）。有两个特征&