回归预测及线性回归

回归预测问题
回归分析是确定两种或两种以上变量间相互依赖定量关系的一种统计分析方法，预测模型基于观测数据建立变量间适当的依赖关系，以便分析数据间内在规律，并用于预测、控制等问题。
预测问题可划分为回归和分类两大类，回归和分类均为监督学习问题。

线性回归
线性回归目标
1.总差平方和

SST=i=1m(yi-y)2反映了数据波动程度

2.残差平方和

SSE=i=1m(yi-yi)2反映了除去y与x1,…, xp 之间的线性关系以外，所引起的波动

（y=b0+b1x1+b2x2+…）

3.回归平方和

SSR=i=1m(yi-y)2反映了拟合和均值之间的偏差

SSR越大，拟合效果越好

拟合——训练集（学习）

SST=SSR+SSE

拟合优度：R2=SSRSST=SST-SSESST=1-SSESST

R2越接近1，拟合效果越好

训练阶段——准确率<验证集——准确率（没有过拟合）