损失函数是啥 mse,最小均方误差: 最小二乘/梯度下降手推 最小二乘 损失函数:求导可得: 使右侧为0可得:如果X点乘X的转置可逆则有唯一解,否则无法如此求解 梯度下降 损失函数:求导可得梯度: 介绍一下岭回归 加上l2的线性回归: 在用最小二乘推导的过程和上面一样,最后在结果上进行了平滑,保证有解: 什么时候使用岭回归? 样本数少,或者样本重复程度高 什么时候用Lasso回归? 特征过多,稀疏线性关系,目的为了在一堆特征里面找出主要的特征