线性回归(Linear Regression)通过属性的线性组合来进行预测的线性模型,目的是找到一条直线或者一个平面或者更高维的超平面,使得预测值与真实值之间的误差最小化。 确定多种变量之间相互依赖的定量关系的一种统计分析方法
线性模型一般形式
给定有n个属性描述的实例x=(x1,x2,…xn),其中xi是写的第i个属性的取值,线型模型拟合一个通过属性的线性组合的函数
一般形式:
向量形式
最小二乘法
均方误差对应了常用的“欧氏距离” ,基于均方误差最小化来进行模型求解的方法称为“最小二乘法” 最小二乘法试图找到一条直线,使所有样本到直线上的欧氏距离之和最小
线性回归模型
有m个样本,第i个样本的响应变量(观测值)为yi,其有n个特征,第j个特征(预测变量)为xij