【第四章】回归模型拓展

1、能够列出 LASSO 回归的公式，解释公式中||w||1 的含义 。

 其中||w||1即为矩阵的1-范数，入为1-范数项的系数。

2、能够从正规方程角度和正则化角度解释 LASSO 回归的作用。

正则化角度：

LASSO回归是在线性回归的损失函数后面加一个L1正则化项。

L1：距阵中所用元素的绝对值之和。使那些不重要的特征系数逐渐为0，从而保留关键特征，使模型简化。

正规方程角度：

LASSO回归的不同之处在于它使用L1正则化项对参数进行约束。通过修改线性回归模型的优化函数，LASSO回归可以在高维数据集中更好地处理特征选择问题。

3、了解矩阵范数的基本概念，知道常用的 1 范数和 2 范数的计算方法。

 4、解释为什么 LASSO 回归为什么不能使用梯度下降法进行优化？

LASSO 回归不能使用梯度下降法进行优化的原因是 L1 正则化项不是可微的，它是由绝对值函数构成的，这使得通过梯度下降法进行优化变得困难。相反，LASSO 回归通常使用坐标下降或者最小角回归等算法进行优化。

5、结合图 4-2 阐述坐标下降法的基本过程。

6、 能够复述 LASSO 回归使用 Numpy 建模的基本流程。

7、能够结合图 4-1 解释 LASSO 回归为什么特征参数会被压缩到 0。

 

 8、能够列出 Ridge 回归的公式，解释公式中||w||2 的含义 。

 9、能够从正规方程角度和正则化角度解释 Ridge 回归的作用。

正规方程角度：

岭回归是对线性回归模型的正规方程进行修改，目的是使模型在解决过度拟合问题时更加稳定。与标准线性回归模型不同的是，岭回归在解决矩阵无法求逆的情况下，并通过添加一个偏置项使模型更具可解释性，有效地解决了多重共线性问题。

正则化角度：

Ridge回归是使用L2作为惩罚项改造线性回归损失函数模型。

L2：距阵中所用元素的平方和再求均方根。最小化参数矩阵的每个元素，使其无限接近于0但又不像L1那样等于0

10、结合图 4-4 阐述 Ridge 求解参数的过程，以及是怎样使得参数尽可能接近于 0 的