![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
学习记录
凉白ex
这个作者很懒,什么都没留下…
展开
-
集成学习之蒸汽量预测
一、概述 这个问题输入38个特征,输出一个值,是一个回归问题。 二、感想 可以使用 kdeplot(核密度估计图) 进行数据的初步分析,删除测试数据集和训练集中分布不同的特征; 可以通过求相关性系数删除和响应相关性太低的特征; 可以用Box-Cox把数据转换为正态分布。 ...原创 2021-05-23 23:54:11 · 90 阅读 · 0 评论 -
集成学习之幸福感预测
幸福感预测的目的在于通过已知特征构建模型实现幸福感的预测。个人体会的流程如下: 首先进行异常值检测,同时对已有特征进行补足或删除处理; 基于已有特征根据个人理解构建新特征; 构建集成模型,比较有意思的是LightGBM可以得到特征的重要性排序; 多模型集成。 值得注意的是最后虽然响应是离散值,但是进行模型集成的时候,将响应视作连续值进行回归貌似比分类效果好。 ...原创 2021-05-16 00:19:15 · 250 阅读 · 0 评论 -
集成学习之stacking
集成学习之stacking一、简介二、个人理解 一、简介 stacking是基于blending的扩展。由blending原理可知,数据集被分成了三份,训练集和验证集其实都在起训练作用,只不过前者训练第一层分类器,后者训练第二层分类器。这样好吗?这样不好:首先,数据集划分的随机性会导致构建的模型不够稳健,也就是说,划分方式的改变可能会导致构建的模型差异很大;其次,划分后用作训练的数据集明显变小,得想办法再利用。stacking的思想就是把K折交叉验证引入训练过程,这样的话,第一层分类器和第二层分类器训练数原创 2021-05-12 11:14:43 · 415 阅读 · 0 评论 -
#集成学习之Blending
< 目录集成学习之Blending一、Blending是什么?二、与单一模型对比1.决策边界2.精度对比总结 集成学习之Blending 简要记录学习 一、Blending是什么? Blending基本思想为构造两层模型,具体构建流程如下:数据划分为训练集、验证集和测试集;选择多个模型作为第一层模型,在训练集进行训练;第一层模型在验证集进行预测,将预测结果作为特征,在验证集构建第二层模型进行训练;第一层模型加第二层模型为最终模型,在测试集检验精度。 二、与单一模型对比 1.决策边界 以iris数据集原创 2021-05-11 21:19:34 · 293 阅读 · 0 评论