【datawhale】Task4 建模与调参

模型比较

线性模型和嵌入式特征选择

• 在过滤式和包裹式特征选择方法中，特征选择过程与学习器训练过程有明显的分别。
• 嵌入式特征选择在学习器训练过程中自动地进行特征选择。
• 嵌入式选择最常用的是L1正则化与L2正则化。
• 在对线性回归模型加入两种正则化方法后，他们分别变成了岭回归与Lasso回归。

L2正则化在拟合过程中通常都倾向于让权值尽可能小，最后构造一个所有参数都比较小的模型。 因为一般认为参数值小的模型比较简单，能适应不同的数据集，也在一定程度上避免了过拟合现象。可以设想一下对于一个线性回归方程，若参数很大，那么只要数据偏移一点点，就会对结果造成很大的影响；但如果参数足够小，数据偏移得多一点也不会对结果造成什么影响，专业一点的说法是『抗扰动能力强』

L1正则化有助于生成一个稀疏权值矩阵，进而可以用于特征选择。如下图，我们发现power与userd_time特征非常重要

交叉验证

训练集（train_set），评估集（valid_set），测试集（test_set）；
不会把所有的数据集都拿来训练，而是分出一部分来（这一部分不参加训练）对训练集生成的参数进行测试，相对客观的判断这些参数对训练集之外的数据的符合程度。这种思想就称为交叉验证（Cross Validation）

sklearn 的 cross_val_score：
我们将数据集分为10折，做一次交叉验证，实际上它是计算了十次，将每一折都当做一次测试集，其余九折当做训练集，这样循环十次。通过传入的模型，训练十次，最后将十次结果求平均值。将每个数据集都算一次

交叉验证优点：
1：交叉验证用于评估模型的预测性能，尤其是训练好的模型在新数据上的表现，可以在一定程度上减小过拟合。
2：还可以从有限的数据中获取尽可能多的有效信息。

我们如何利用它来选择参数呢？
我们可以给它加上循环，通过循环不断的改变参数，再利用交叉验证来评估不同参数模型的能力。最终选择能力最优的模型。
（iris鸢尾花分类实例）

调参

贪心调参、网格调参、贝叶斯调参