数据挖掘入门-Task04-建模调参总结

建模调参

目标

了解常用的机器学习模型，并掌握机器学习模型的建模与调参流程

内容：

1、线性回归模型：

• 线性回归对于特征的要求；

• 处理长尾分布；

  • 对标签进行了 𝑙𝑜𝑔(𝑥+1) 变换，使标签贴近于正态分布

• 理解线性回归模型；

2、模型性能验证：

• 评价函数与目标函数；

• 交叉验证方法；

  • 通常并不会把所有的数据集都拿来训练，而是分出一部分来（这一部分不参加训练）对训练集生成的参数进行测试，相对客观的判断这些参数对训练集之外的数据的符合程度。这种思想就称为交叉验证（Cross Validation）
  • 使用线性回归模型，对处理过标签的特征数据进行五折交叉验证（Error 0.19降低）

• 留一验证方法；

• 针对时间序列问题的验证；

• 绘制学习率曲线；

• 绘制验证曲线；

3、嵌入式特征选择：

• Lasso回归；

  • L1正则化有助于生成一个稀疏权值矩阵ÿ