线性回归
回归分析(regression analysis)用来建立方程模拟两 个或者多个变量之间如何关联
被预测的变量叫做:因变量(dependent variable), 输出(output)
被用来进行预测的变量叫做: 自变量(independent variable), 输入(input)
一元线性回归包含一个自变量和一个因变量
以上两个变量的关系用一条直线来模拟
如果包含两个以上的自变量,则称作多元回归分析 (multiple regression)
线性回归假定输入变量(X)和单个输出变量(Y)之间呈线性关系。它旨在找到预测值 Y 的线性方程:y = ax + b
代价函数
则对于每个样本点 ,根据我们的直线方程,预测值为:
很显然,我们希望直线方程能够尽可能地拟合真实情况,也就是说真值 和预测值 的差距尽量小。只有所有的样本的误差都小,才能证明我们找出的直线方程拟合性好。
通常来说,为了防止正误差值和负误差值相抵的情况,使用绝对值来表示距离:
但是在线性回归中,我们需要找极值,需要函数可导,而 不是一个处处可导的函数,因此很自然地想到可以使用:
故损失函数采用的平方值
线性回归中经常使用的两种算法
最小二乘法:
公式推到:见博文:<