本文将按以下几个步骤描述,数据分析的流程:
提出问题,给出分析目的;
- 数据清洗与处理;
- 数据分析及可视化;
- 建立模型及预测分析;
- 分析结果.
1.提出问题,给出分析目的
幸福感是一个古老而深刻的话题,是人类世代追求的方向。与幸福感相关的因素成千上万、因人而异,大如国计民生,小如路边烤红薯,都会对幸福感产生影响。在这些错综复杂的因素中,如何找到其中的共性,一窥幸福感的要义,进而提升人民的幸福感,能去帮助那些抑郁不开心的人,这是展开幸福感数据分析的目的。
基于调查人群的相关特征,提出关于幸福感的几个问题如下:
调查人群数据中的整体幸福状况?
什么会影响一个人的幸福感?如何提升幸福感?
利用训练集数据,如何预测测试集中的幸福指数?
针对问题一,利用matplotlib、seaborn画图库可视化整体人群的幸福状况;针对问题二,采用逻辑树的方法进行分析,将问题分层罗列,逐步向下展开,并可视化辅助分析;针对问题三,在问题二的基础上提出相应的建议。给出问题之后我们开始处理数据。
2.数据清洗与处理
分析工具:Jupyter notebook
首先观察数据,训练集happiness_train_complete.csv文件标签有调查人员id,幸福指数,城市,年龄等等…总共140个标签,8000条人员数据。一览如下:
导入查看数据,解析survey_time列的值作为独立的日期列,
train = pd.read_csv('happiness_train_complete.csv', parse_dates=['survey_time'], encoding='utf-8')
test = pd.read_csv('happiness_test_complete.csv', parse_dates=['survey_time'], encoding='utf-8')
train.head()
数据预处理包括:发现和填补缺失值、数据类型转换、异常值删除等。
首先查看幸福指数happiness的取值,
数据中的空值以0填充,
for i in train_data.columns:
for j in train_data