1、能够列出 LASSO 回归的公式,解释公式中||w||1 的含义 。
其中||w||1即为矩阵的1-范数,入为1-范数项的系数。
2、能够从正规方程角度和正则化角度解释 LASSO 回归的作用。
正则化角度:
LASSO回归是在线性回归的损失函数后面加一个L1正则化项。
L1:距阵中所用元素的绝对值之和。使那些不重要的特征系数逐渐为0,从而保留关键特征,使模型简化。
正规方程角度:
LASSO回归的不同之处在于它使用L1正则化项对参数进行约束。通过修改线性回归模型的优化函数,LASSO回归可以在高维数据集中更好地处理特征选择问题。
3、了解矩阵范数的基本概念,知道常用的 1 范数和 2 范数的计算方法。
4、解释为什么 LASSO 回归为什么不能使用梯度下降法进行优化?
LASSO 回归不能使用梯度下降法进行优化的原因是 L1 正则化项不是可微的,它是由绝对值函数构成的,这使得通过梯度下降法进行优化变得困难。相反,LASSO 回归通常使用坐标下降或者最小角回归等算法进行优化。
5、结合图 4-2 阐述坐标下降法的基本过程。
6、 能够复述 LASSO 回归使用 Numpy 建模的基本流程。
7、能够结合图 4-1 解释 LASSO 回归为什么特征参数会被压缩到 0。
8、能够列出 Ridge 回归的公式,解释公式中||w||2 的含义 。
9、能够从正规方程角度和正则化角度解释 Ridge 回归的作用。
正规方程角度:
岭回归是对线性回归模型的正规方程进行修改,目的是使模型在解决过度拟合问题时更加稳定。与标准线性回归模型不同的是,岭回归在解决矩阵无法求逆的情况下,并通过添加一个偏置项使模型更具可解释性,有效地解决了多重共线性问题。
正则化角度:
Ridge回归是使用L2作为惩罚项改造线性回归损失函数模型。
L2:距阵中所用元素的平方和再求均方根。最小化参数矩阵的每个元素,使其无限接近于0但又不像L1那样等于0
10、结合图 4-4 阐述 Ridge 求解参数的过程,以及是怎样使得参数尽可能接近于 0 的