回归算法

概念

回归，指研究一组随机变量(Y1 ，Y2 ，…，Yi)和另一组(X1，X2，…，Xk)变量之间关系的统计分析方法，又称多重回归分析。通常Y1，Y2，…，Yi是因变量，X1、X2，…，Xk是自变量。

回归种类

线性回归、曲线回归、二元logistic回归、多元logistic回归。

线性回归

概念

线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。其表达形式为y = w’x+e，e为误差服从均值为0的正态分布。

线性回归种类

一元线性回归（Y=wx+b）和多元线性回归

用法用途

机器学习有两种，一种是监督学习，另一种是非监督学习。监督学习就是我告诉计算机你把班上同学分个类，分类标准是按照性别，男生和女生；非监督分类就是告诉计算机你自己去把班上同学分个类吧，我不告诉你分类标准。

而在监督学习中，如果我们面对的变量是连续型的变量就要用到***回归***

简单理解，回归是一种非常实用的方法，很多经济类的学生在写论文的时候都会用到回归的方法。比方说，距离市中心的距离越近（距离为x），房价就越高（房价是y），可以得到一个y=kx+b的式子来大概的表示x和y之间的关系。
不过，大部分的情况下是很多条件一起制约y的，不仅有离市中心的距离x₁，还有房子的新旧程度。
如下图所示：

我们想要让这个方程拟合的非常好，那么就要使误差尽量小，评价误差小的方法就是所有误差的平方和的最小值***
计算误差平方和最小的方法最常见的就是最小二乘法和梯度下降法*

最小二乘法

最小二乘法源自线性回归&#x