回归分析

机器学习（一）

一.回归分析概念

1.回归分析概念：回归分析就利用样本（已知数据），产生拟合方程，从而（对未知数据）进行预测。

2.用途：预测，判别合理性。

3.分类：线性回归分析（一元线性、多元线性、广义线性），非线性（逻辑回归）

4.说明：一元线性一般指一条直线，二元一般是平面，三元是超平面，非线性一般指广义线性

5.回归分析的难题：选定变量（多元），避免多重共线性，观察拟合方程，避免过拟合，检验模型

二.线性回归

1.函数关系: y = ax +ｂ

2.相关关系：非确定性关系

衡量线性关系强弱：线性相关系数（r）

（2）线性回归方程中参数a,b求法

一般是采用最小二乘法，公式：

让这个式子取最小值，分别对a，b求偏导数，然后求出a，b即可。