岭回归(Ridge Regression)是一种正则化方法,而所谓的正则化,就是对模型的参数加一个先验证假设,控制模型空间,以达到使得模型复杂度较小的目的,通过引入正则化方法能够减小均方差的大小。
岭回归通过来损失函数中引入L2范数惩罚项,来控制线性模型的复杂度,从而使得模型更稳健。Ridge实现了岭回归模型,其原型为:
class sklearn.linear_model.Ridge(alpha=1.0, fit_intercept=True,normalize=False,copy_x=True, max_iter=None,tol=0.001,solver='auto',random_state=None)
参数说明:
alpha:a值,其值越大说明正则化项的占比越大。
fit_intercept:一个布尔值,制定是否需要计算b值,如果为False,那么就不用计算b值(模型会假设你的数据已经中性化了,这里的b值是线性函数y=w1*x1+w2*x2+...+Wn*Xn +b中的b值)
max_iter:指定最大的迭代次数,值为整数。如果为None,则表示使用默认值(不同的solver其默认值不同)。
copy_x:是否复制x的布尔值,为True表示要复制。
solver:指定求解最优化问题的算法,可以为:
auto:根据数据集自动选择算法;
avd:使用奇异值分解来计算回归系数;