目录
一、开发环境介绍
IDE:Pycharm 2020.1.1
环境:python 3.7
用到的库:
numpy:用于多维度数组与矩阵计算
pandas:基于numpy数组,处理表格和混杂数据
sklearn:第三方机器学习库,用到了交叉验证方法和计算均方误差
xgboost:第三方xgboost算法库
matplotlib:用于可视化
二、数据的分析、处理
2.1 数据初步分析
对于数据的处理,首先要对数据的特征以及分布有一定的认识,下面将从观察调查问卷和数据可视化两个方面由浅入深的了解数据。
●观察调查问卷
项目中的所有的数据来源于《中国综合社会调查2015 年度调查问卷》,通过观察问卷可以得到以下信息:
- 该问卷调查的内容主要包括:
关于被调查者以及被调查者配偶、被调查者子女、家庭的各种信息。
- 该问卷收集的数据格式主要有:
时间(年)、可连续数值(金钱、面积、身高、体重等)、普通离散的整数
- 同时发现,问卷中出现了可以“跳问”的选项,这说明或许有些选项是空缺非常严重的。
![图表 1问卷中的跳问情况](https://i-blog.csdnimg.cn/blog_migrate/1790b23f8725b8c16c66eb22224f7015.png)
●数据可视化处理
得到初步的数据信息后,对数据进行可视化处理,进一步获取数据信息。
首先观察不同调查者的id情况:
![图表 2幸福感随ID的分布](https://i-blog.csdnimg.cn/blog_migrate/3b2fd62ddf514ef46a39e14148dc54e8.png)
可以看出,在8000名调查者中,幸福感有-8、1、2、3、4、5几种情况。联系问卷给出的信息,幸福感为-8表示被调查者并不能说出自己的幸福感。因此这部分数据,需要后续的处理。
更进一步,绘制出幸福感的数量分布情况:
![图表 3幸福感的数量分布](https://i-blog.csdnimg.cn/blog_migrate/71f63cd845330aeb136f7e49d72f21dc.png)
上图可以直观地看到幸福感的数目分布情况,其中幸福感为4的人最多。
对于标签的分析结束,下面统计不同特征的缺失情况,绘制出所有特征的缺失率图:
![图表 4特征ID及其缺失率情况](https://i-blog.csdnimg.cn/blog_migrate/28d179464be772a23aad841fe346c39e.png)
由上图可以看出,绝大部分特征的缺失率非常的低以至于为0,有少数特征的缺失率非常高甚至接近了百分之百。
更进一步,绘制出缺失率大于50%的特征:
![图表 5高缺失率特征](https://i-blog.csdnimg.cn/blog_migrate/77329e983ee7a802767a58493809e822.png)
对于高缺失率的特征,需要在后面做删除处理。
对于一些比较特殊的数据可能需要特殊处理,比如时间(年),下面以被调查者的出生年份为例,绘制出被调查者ID与其出生年份的关系:
![图表 6被调查者ID与被调查者出生年份的关系](https://i-blog.csdnimg.cn/blog_migrate/e98f8e61008fdb3b15c748f75530e5a4.png)
可以看出被调查者的出生时间主要在1920-2000之间分布,由于时间跨度大且数值极多,需要对其进行泛化处理以防止过拟合。
2.2 数据的处理
由于数据分为了训练集和测试集,在特征部分,两者是完全相同的,因此将训练集去除happiness后与测试集合并,方便以后的处理。
![图表 7合并测试集和训练集 核心代码](https://i-blog.csdnimg.cn/blog_migrate/41005cb9b267e13bd9613cf9aa23dbcc.png)
●对于特征的删除
根据可视化中的分析,有一部分特征的缺失率非常高,并不适合对其进行填充,因此直接删除缺失率大于50%的特征。
![图表 8删除缺失率高的特征 核心代码](https://i-blog.csdnimg.cn/blog_migrate/ab19cd69aa99dfc6c5eaaa0ebc7c4e2d.png)
●对于特征的填充
对于缺失率并不高的特征,根据其特点对其进行填充。
观察到marital_now以及marital_1st的空缺可能是由于未结婚造成的,填充为9997
![图表 9填充处理](https://i-blog.csdnimg.cn/blog_migrate/d3a095751ff836a1c09523be012c216c.png)
minor_child空缺可能是因为没有孩子,填充为0
根据输出可以看出,family_income这一特征只有1次缺失,可能是由于被调察人的疏忽造成的,
因此将此项填写为family_income的众数
![图表 10填充处理](https://i-blog.csdnimg.cn/blog_migrate/b29f76ef93641f9d0e7cd4636e2402c9.png)
s_xxx这一类特征,都是关于被调查人配偶的情况,也可能是由于被调查人可能没有配
偶而导致该项缺失,因此将该项用0填补。
![图表 11填充处理](https://i-blog.csdnimg.cn/blog_migrate/befa8d6f4939404202d126076512bcb0.png)
●对于特征的泛化以及特征工程
对于出生日期这类的数据,其数值跨度十分广泛,为了避免过拟合,对其进行泛化。
![图表 12年份泛化函数](https://i-blog.csdnimg.cn/blog_migrate/e84d13ced1259d9e232436cfb3e2bbb0.png)
![图表 13年份泛化 核心代码](https://i-blog.csdnimg.cn/blog_migrate/884332e0154a4f2dcb20426c40182198.png)
特征工程:调查时间(survey_time),考虑到该特征对幸福感的影响并不大,故直接删掉。
●对于标签的修正
由之前的分析得出:-8表示并不确定自己的幸福感,考虑到概率问题,将幸福感为-8替换为众数4
2.3 数据的规范化
2.3.1 归一化处理
对于特征中具有连续值的量进行归一化处理,使用零-均值规范化(标准差标准化)方法。
归一化后,数据的均值为0,标准差为1。
![图表 15零-均值规范化方法](https://i-blog.csdnimg.cn/blog_migrate/159a450e12859d93901aad6d4d9a7367.png)
![图表 16连续数据归一化 核心代码](https://i-blog.csdnimg.cn/blog_migrate/05d319e749dfdba7db0ab6df04cb0a5e.png)
2.3.2 one-hot 独热编码
对于离散数据,例如问卷中具有具体数字代表选项的特征,使用one-hot编码。
Ont-hot编码简介:对于某特征中的值,有多少不同的值,该特征就会扩展成多少维。例如:城市这一特征中有:‘北京’‘上海’‘青岛’,共三个不同的值,则将城市这一特征扩展成三维:‘北京’->100 ‘上海’->010 ‘青岛’->001.
Ont-hot编码意义:使用one-hot编码,将离散特征的取值扩展到了欧式空间,离散特征的某个取值就对应欧式空间的某个点。而在回归,分类等机器学习算法中,特征之间距离的计算或相似度的计算是非常重要的,而我们常用的距离或相似度的计算都是在欧式空间的相似度计算。将离散型特征使用one-hot编码,会让特征之间的距离计算更加合理。比如,有一个离散型特征,代表工作类型,该离散型特征,共有三个取值,不使用one-hot编码,其表示分别是x_1 = (1), x_2 = (2), x_3 = (3)。两个工作之间的距离是,(x_1, x_2) = 1, d(x_2, x_3) = 1, d(x_1, x_3) = 2。那么x_1和x_3工作之间就越不相似吗?显然这样的表示,计算出来的特征的距离是不合理。那如果使用one-hot编码,则得到x_1 = (1, 0, 0), x_2 = (0, 1, 0), x_3 = (0, 0, 1),那么两个工作之间的距离就都是sqrt(2).即每两个工作之间的距离是一样的,显得更合理。
![图表 17one-hot编码 核心代码](https://i-blog.csdnimg.cn/blog_migrate/cbb3ab13f6e9a011f8d877337fa97124.png)
三、训练模型的选择、调优
3.1 任务分析
该任务通过根据多维度的特征,从而判断预测幸福感。
在前期的可视化中观察到,训练集的幸福感分布为1、2、3、4、5以及-8,均为整数,结果有限,可通过分类的方式解决。
但是通过分类的方式预测的幸福感全部为整数,将会导致误差太大,因此采用回归的方式,预测某一浮点数值来表示幸福感。
3.2 模型选择
线性回归:实现简单,计算简单,但对于非线性的数据拟合效果不好。
KNN:本实验属性较多,对训练样本进行分类时,由于计算量大而使其效率大大降低,效果不是很理想。
XGboost:非线性模型。在随机森林的基础上融合boosting的思想建立树与树之间的联系,使森林不再是互相独立的树存在。继承了随机采样、随机属性选择、学习率等算法。
最终选择XGboost算法,算法简介:Xgboost源于决策树,但是决策树过拟合风险很大,应用场景有限,在此基础上诞生了随机森林,随机森林采用Bagging采样+随机属性选择+模型集成的方法解决决策树易过拟合的风险,但是所有的树都是独立存在的,某一棵树并不能对下一棵树产生正的影响,在此基础上又诞生了GBDT,使森林不再是互相独立的树存在,进而成为一种有序集体决策体系。而Xgboost在GBDT的基础上更进一步,目标函数中加入正则项,进一步防止过拟合,并且引入了二阶泰勒展开,只要损失函数可导,便可自定义损失函数。可以说,XGBoost是一种集大成的机器学习算法。
3.3 参数调优
在XGBoost模型中,某些参数使用算法默认值,只对某些进行了调整:
eta:类似于学习率,通过缩减特征的权重使提升计算过程更加保守,防止过拟合max_depth:树的最大深度,树的深度越大,则对数据的拟合程度越高 subsample:用于训练模型的子样本占整个样本集合的比例,能够防止过拟合 colsample_bytree:在建立树时对特征随机采样的比例通过控制变量法(对某一参数进行调整时固定其他参数,使得该参数尽量达到最优后继续调整其他参数)进行调参.
过程如下:
![图表 18调参过程1](https://i-blog.csdnimg.cn/blog_migrate/580373f46ca81b199f6eeb4cee12e8b4.png)
![图表 19调参过程2](https://i-blog.csdnimg.cn/blog_migrate/3403a0809be9ce7d9ae9d03bf25c115f.png)
3.4 交叉验证
为进一步防止过拟合,采用交叉验证,调用sklearn中的KFlod,尝试进行交叉验证,最终发现,当折数>5之后,提升效果并不明显,遂采用5折交叉验证。
![图表 20交叉验证 核心代码](https://i-blog.csdnimg.cn/blog_migrate/0b2f074cf90d494dcbef40922a0642c5.png)
四、实验结果展示
最终代码本地测试分数为0.4616,提交后线上测试如下图:
![图表 21结果展示](https://i-blog.csdnimg.cn/blog_migrate/f826deedb3530941b61a3640c2cb6d38.png)
五、探索历程
首先进行了数据的初步处理,删除了高缺失率特征,填充了低缺失率特征。
初步考虑使用线性回归进行拟合,但简单尝试后效果并不理想。
改用XGBoost算法, 初步调参后本地score在0.48左右。
对特征数据进一步处理,进行泛化并且重新调整了XGBoost参数,提交后score在0.475左右。
引入交叉验证,重新训练,最终score确定为0.47184
六、说明
该项目是我在初学机器学习时的一个课程作业,博客里的内容是我完整的分析过程。由于是初学,python代码可能并不是十分简洁、合理,希望大家理解。有问题的地方欢迎大家讨论。
项目的全部代码获取链接如下(创作不易,需要积分才能下载,(tb也可购买资源下载次数)):