sklearn中惩罚参数C和alpha对训练结果的影响

1.岭回归

Ridge 回归通过对系数的大小施加惩罚来解决 普通最小二乘法 的一些问题。 岭系数最小化的是带罚项的残差平方和，

其中，  是控制系数收缩量的复杂性参数：  的值越大，收缩量越大，这样系数对共线性的鲁棒性也更强

较大的值则具有更强的正则化。 Alpha对应于其他线性模型中的C ^ -1，例如LogisticRegression或LinearSVC。

2.lasso回归

 Lasso 是估计稀疏系数的线性模型。 它在一些情况下是有用的，因为它倾向于使用具有较少参数值的情况，有效地减少给定解决方案所依赖变量的数量。 因此，Lasso 及其变体是压缩感知领域的基础。

在数学公式表达上，它由一个带有  先验的正则项的线性模型组成。 其最小化的目标函数是:

lasso estimate 解决了加上罚项  的最小二乘法的最小化，其中，