回归预测算法

1、基础

适用数据：数值型。

（1）相关系数（R²）衡量

有时候，我们需要计算预测值与实际值的匹配程度，来衡量所建立模型的好坏。此时，需要计算Y、Y‘的相关系数：

其中，Cov表示协方差，Var表示方差。

（2）缩减系数

当数据的特征比样本数目还多时，此时n>m，输入的样本矩阵非满秩矩阵，在求逆时会出错。

2、线性回归

线性回归意味着将输入数据分别乘以一些常量（回归系数），相加得到输出（预测值）。

线性回归需要使用数值型数据，标称型数据需转化为二值型数据。

假设输入的预测样本为X₁，为n行的列向量，W为n行的列向量，表示从样本数据得到的回归系数，则预测结果为：

假设输入的样本数据存放在m行n列的矩阵，记为X，n个特征所决定的因变量记为Y，为m行的列向量，则需要从Y=XW得到W的值。

常用的方法为找到使得Y预测值与真实值误差最小的W，通常用平方误差衡量（该方法称为普通最小二乘法，ordinary least squares，OLS）：