数据EDA
数据分析
缺失值分析
特征分析
是否有单调特征列
特征nunique分布
统计特征值出现的频次大于100的特征
label分布
不同的特征值的样本的label的分布
数据清洗
缺失值分析及处理
缺失值出现的原因分析
采取合适的方式对缺失值进行填充
异常值分析及处理
根据测试集数据的分布处理训练集的数据分布
使用合适的方法找出异常值
对异常值进行处理
深度清洗
-
分析每一个communityname、city、region、plate的数据分布并对其进行数据清洗
主要思路分析 -
1.缺失值处理
缺失值的处理手段大体可以分为:删除、填充、映射到高维。 -
2.转换object类型数据
这里直接采用labelencode的方式编码。 -
3.时间字段的处理
-
4.删除无关字段
id是唯一码,建模无用,所以直接删除;
city只有一个SH值,也直接删除;
tradetime已经分割成月和日,删除原来字段 -
5.异常值处理
主要针对area和trademoney两个维度处理
针对trademoney,这里采用的是isolationforest模型自动处理
针对areahetotalfloor是主观+数据可视化的方式得到的结果
特征工程
计算均值、计算中位数、计算方差、计算最大值、计算最小值、计算出现次数
特征拆分、特征合并、交叉生成特征、聚类特征、特征编码、过大量级取log平滑
模型选择
- 标签的种类,标签会定义你要解决何种问题,有不同的问题类型。例如:
单列,二进制值(分类问题,一个样本仅属于一个类,并且只有两个类)
单列,实数值(回归问题,只预测一个值)
多列,二进制值(分类问题,一个样本属于一个类,但有两个以上的类)
多列,实数值(回归问题,多个值的预测)
多个标签(分类问题,一个样本可以属于几个类)
模型融合
将特征放进模型中预测,并将预测结果作为新的特征加入原有的特征中再经过模型预测结果
像是一种优化手段/策略,它通常是结合多个简单的弱机器学习算法,去做更可靠的决策。拿分类问题举个例,直观的理解,就是单个分类器的分类是可能出错,不可靠的,但是如果多个分类器投票,那可靠度就会高很多。常用的模型融合增强方法包括:
Random Forest
Boosting
Bootstrapped Aggregation (Bagging)
AdaBoost
Stacked Generalization (blending)
Gradient Boosting Machines (GBM)
Gradient Boosted Regression Trees (GBRT)