Datawhale 零基础入门数据挖掘-建模调参及模型融合
一、机器学习建模的过程:
建模的过程离不开模型的求解,我们假设输入特征变量记为X,输出变量记为Y,他们对应的具体取值分别记为x和y,输入实例x的列向量可以表示为:x=(x(1),x(1),…,x(i),…,x(n))T。其中x(i)表示x的第i个特征值,因此x是一个具有n个特征值的特征向量。第i个输入实例的第k个特征值就表示为x(k)i。
1.根据特征向量的数据分布提出一个合适的模型函数 y=f(x;θ) 来估计参数分布。
2.提出一个合适的损失函数 L(x,y) 计算对于训练数据集上的所有训练样本估计的误差损失大小:L(x,y)=1NN∑i=1L(yi,f(xi))。
3.用合适的优化算法使得损失函数带有参数的 L(x,y) 的值最小化,即:minf∈F1NN∑i=1L(yi,f(xi))。
4.就是求解最优化上述函数值得到 L(yi,f(xi)) 的最小值,从而得到原函数 y=f(x;θ) 的参数值θ的解:θ=(θ(1),θ(2),…,θ(K))。
本次预测的是二手车金额,是一个回归问题。回归主要是预测连续型数据的目标值。
二、线性回归模型:
##1.线性回归对于特征的要求;
线性回归的假设前提是噪声服从正态分布,即因变量服从正态分布。
(1)自变量与因变量之间存在线性关系
(2)各观测间相互独立 任意两个观测残差的协方差为0
(3)残差e 服从正态分布N(0,σ2) 。
(4) e 的大小不随所有变量取值水平的改变而改变,即方差齐性。
处理长尾分布;
特征预处理–长尾分布的处理方案
理解线性回归模型;
三、模型性能验证:
评价函数与目标函数;
交叉验证方法;
留一验证方法;
针对时间序列问题的验证;
绘制学习率曲线;
绘制验证曲线;
简答的线性回归如y=ax+b,这是只有一个特征时的情况,而对于多个特征,就变成了多元线性回归。公式如下:
这个θ为对应自变量的权重值,越大,证明该特征对结果的影响越重要。由此可以对特征进行筛选。而我们要求得就是这个参数。
四、嵌入式特征选择:
Lasso回归;
Ridge回归;
决策树;
五、模型对比:
常用线性模型;
常用非线性模型;
六、模型调参:
贪心调参方法;
网格调参方法;
贝叶斯调参方法;
七、参考学习资料
1 线性回归模型
https://zhuanlan.zhihu.com/p/49480391
2 决策树模型
https://zhuanlan.zhihu.com/p/65304798
3 GBDT模型
https://zhuanlan.zhihu.com/p/45145899
4 XGBoost模型
https://zhuanlan.zhihu.com/p/86816771
5 LightGBM模型
https://zhuanlan.zhihu.com/p/89360721
6 推荐教材:
《机器学习》 https://book.douban.com/subject/26708119/
《统计学习方法》 https://book.douban.com/subject/10590856/
《Python大战机器学习》 https://book.douban.com/subject/26987890/
《面向机器学习的特征工程》 https://book.douban.com/subject/26826639/
《数据科学家访谈录》 https://book.douban.com/subject/30129410/