多元线性回归的理解

一.梯度下降解法和正则化
多元梯度下降解法本质上就是将一元梯度下降的解法中的求导变为求偏导，然后一步一步求凸函数的最小值。其中，梯度下降中的正则化的作用是学到不同参数值的重要程度。（好像相比于正规方程中的正则化更为合理一些）
二.正规方程解法和正则化
正规方程解法是按照传统的高等数学方法求解，但是由于将参数矩阵化以后，要求解的化，会转成线性代数里面的方程组求解，会出现多解的情况，所以需要加入正则化来使得方程组仅有一个解。但由于，正则化方法为给原先解加入一个类似单位矩阵（矩阵的左上角为0，其余与单位矩阵一样），因此，可能起不到对每个参数分配不同重要程度的作用。所以。个人更偏向于采取梯度下降的方法。
这里需要注意的是，要求取损失函数的最小值时必须确保损失函数是凸函数，这里可以用海塞矩阵来进行证明，海塞矩阵的粗浅理解是求取函数的曲率。