前言
本文将简单介绍线性回归算法的原理以及推导过程,因为本人也是新手,只按照新手思维去一步步思考,如有错误还请大家指出~~
1、概述
线性回归模型是用一条曲线拟合一个或多个自变量x与因变量y之间的关系。若曲线是一条直线,则为一元线性回归;若是超平面,则是多元线性回归;否则是非线性回归,常见的非线性回归包括多项式回归、逻辑回归。通过样本学习映射关系f:x->y,得到的预测结果y是连续值变量。
2、原理推导
3、损失函数
损失函数是用来判断一条拟合曲线的拟合效果,我们的目标就是最小化损失函数,所以要找到对于的权重参数使得损失函数最小。
一般线性回归的损失函数的定义为:
因为RSS的大小与样本数量有关,不能对比模型拟合效果的好坏,