一文详解线性回归原理

前言

本文将简单介绍线性回归算法的原理以及推导过程，因为本人也是新手，只按照新手思维去一步步思考，如有错误还请大家指出~~

1、概述

线性回归模型是用一条曲线拟合一个或多个自变量x与因变量y之间的关系。若曲线是一条直线，则为一元线性回归；若是超平面，则是多元线性回归；否则是非线性回归，常见的非线性回归包括多项式回归、逻辑回归。通过样本学习映射关系f:x->y，得到的预测结果y是连续值变量。

2、原理推导

3、损失函数

损失函数是用来判断一条拟合曲线的拟合效果，我们的目标就是最小化损失函数，所以要找到对于的权重参数使得损失函数最小。
一般线性回归的损失函数的定义为：



因为RSS的大小与样本数量有关，不能对比模型拟合效果的好坏，