2020-02-14

线性回归(Linear Regression,LR)
对于m个样本
，用参数
进行估计，记为
定义损失函数
目标为最小化损失函数
，可使用梯度下降法或者最小二乘法。
梯度下降法求
相对于
的梯度
，这里上标i表示第i个样本，下标j表示样本的第j个特征。在梯度的负方向上更新
，即
最小二乘法将样本整体表示为矩阵X，结果表示为向量
，则参数
可由下式求得
但要求X为列满秩（列满秩要求行数大于列数，即样本数量应大于特征维度，否则
为奇异矩阵，不可逆），并且求逆矩阵较慢。并且当出现多重共线性时无法计算。
线性回归注意事项
特征归一化：即对特征数据进行归一化操作，进行特征缩放的好处有两点，一是能够提升模型的收敛速度，因为如果特征间的数据相差级别较大的话，以两个特征为例，以这两个特征为横纵坐标绘制等高线图，绘制出来是扁平状的椭圆，这时候通过梯度下降法寻找梯度方向最终将走垂直于等高线的之字形路线，迭代速度变慢。但是如果对特征进行归一化操作之后，整个等高线图将呈现圆形，梯度的方向是指向圆心的，迭代速度远远大于前者。二是能够提升模型精度。关于归一化可以参考