回归分析

回归分析

一、线性回归

1. 定义

回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量,且因变量和自变量之间是线性关系,则称为多元线性回归分析。

单变量情形：y=ax+b，b为误差服从均值为0的正态分布。

多变量情形：

2. 损失函数

要找到最好的权重/参数[θo,…θn]= θ
那怎么去衡量“最好”呢?
把x到y的映射函数f记作θ的函数hθ(x)
定义损失函数为：

最小化损失函数可得最优值。

3. 梯度下降

逐步最小化损失函数的过程，如同下山，找准方向(梯度)，每次迈进一小步，直至山底。

假如现在有n个特征/变量xj(j=1…n)，则