数据挖掘小白系列!机器学习中调参的基本思想

本文章只用于学习交流不用于任何商业行为,所有知识点资料来源于网络,如有任何不当之处请私信联系,作者会及时改正

1大家都不说调参的原因

=============================

其一是因为，调参的方式总是根据数据的状况而定，所
以没有办法一概而论；其二是因为，其实大家也都没有特别好的办法。

2常规调参路线

=============================

画学习曲线，或者网格搜索，我们能够探索到调参边缘（代价可能是训练一次模型要跑三天三夜）

3高手的调参思想

=============================

1）非常正确的调参思路和方法
2）对模型评估指标的理解
3）对数据的感觉和经验
4）用洪荒之力去不断地尝试。

1）非常正确的调参思路和方法

=============================

第一步是要找准目标：我们要做什么？
一般来说，这个目标是提升某个模型评估指标，找准了这个目标，我们就需要思考：模型在未知数据上的指标受什么因素影响？
对模型效果来说:分类->准确率,回归->MSE; 对模型整体来说:泛化性+效果
而衡量模型在未知数据上的准确率的指标叫做泛化误差
总结:一般调的就是泛化误差,让模型在泛化误差最低点
PS:小数据可以直接做这个图出来,大数据就要根据对模型的理解,判断在图形的哪里.比如随机森林树模型容易过拟合,那一般就是在最低点的右边.需要在保持准确率的同时把复杂度降下来

泛化误差详见:https://www.cnblogs.com/juanjiang/p/10774616.html

2)对模型评估指标的理解

=============================

这个是太重要的了,打比赛的都知道.在不同需求下,挑选正确能让模型实际效果提升一大截,这个要自己慢慢学习,没得办法
常见各种损失函数1

常见各种损失函数2

3）对数据的感觉和经验

=============================

个人觉得就是对数据集/业务的了解程度.典型的例子就是信用卡用户.1个失信用户99个守约用户,那直接蒙全是守约用户那模型的准确率都有99%,然后这明显会让我们血亏,这是都对数据集调整或者模型权重调整就很重要了.

4）用洪荒之力去不断地尝试。

=============================

买个顶级配置,让电表转起来!

4个人对调参的一点想法

=============================

调参实际情况是很复杂.
从手段上来说:AUTOML+传统
从数据上来说:如果是分类的我可能会百分比抽出来,在小数据跑个大概的范围出来.大数据上应用