scikit-learn学习（一）

广义线性模型

普通最小二乘法（OLS）

模型各项接近线性关系时，会出现多重共线性的问题，有局限性

解决方法：前向逐步回归，惩罚线性回归

正则化

1. L1正则化（Lasso回归）：
   在最小二乘法的最后加上 系数的L1范数，作为惩罚项

Lasso能够将一些作用比较小的特征的参数训练为0，从而获得稀疏解。也就是说用这种方法，在训练模型的过程中实现了降维(特征筛选)的目的。

Lasso是拟合稀疏系数的线性模型。 它在一些情况下是有用的，因为它倾向于使用具有较少参数值的情况，有效地减少给定解决方案所依赖变量的数量。 因此，Lasso 及其变体是压缩感知领域的基础。 在一定条件下，它可以恢复一组非零权重的精确集

2. L2正则化（岭回归）：
   在最小二乘法的最后加上 系数的L2范数，作为惩罚项
   

交叉验证

10折交叉验证

将数据集分成十份，轮流将其中9份做训练1份做验证

#3折交叉验证
reg = linear_model.RidgeCV(alphas=[0.1, 1.0, 10.0], cv=3)
reg.fit([[0, 0], [0, 0], [1, 1]], [0, .1, 1])  

cross_val_score

运用cross_val_score进行交叉认证
函数在model_selection库里

# X:features  y:targets  cv:k折交叉验证
cross_val_score(model_name, X, y, cv=k)