【机器学习】线性回归

一、线性关系模型

一个通过属性的线性组合来进行预测的函数：

w为权重，b称为偏置项，可以理解为：

二、线性回归

定义：线性回归通过一个或者多个自变量和因变量之间进行建模的回归分析。其中可以为一个或多个自变量之间的线性组合（线性回归的一种）

一元线性回归：涉及到的变量只有一个

多元线性回归：涉及到的变量两个或两个以上

通用公式：

其中w,x为矩阵：

三、损失函数（误差大小）

● 为第i个训练样本的真实值

● 为第i个训练样本特征值组合预测函数

总损失定义：

又称最小二乘法

尽量去减少这个损失（两种方式）

如何去求模型当中的W，使得损失最小？

（目的是找到最小损失对应的W值）

最小二乘法之正规方程

求解：

X为特征值矩阵，y为目标值矩阵

缺点：当特征过于复杂，求解速度太慢