项目背景
数据来自某课程老师教学案例数据,目标是根据数据对北京市房价进行分析,获取单价、单价的周走势、成交数量的周走势等信息。
项目中遇到的问题及应对
数据读取部分
已经写在上一篇博客中python读取csv报错
数据清洗部分
Q1. 缺少关于地区的信息。其实是原始数据将大区信息放在该区域数据之前单独一行。
- 复制含有地区信息的列
- 查看该列数据特点:除了有用的数据外都是数值
- 用空值替代数值
- 用地区信息填充空值
Q2. xx1,xx2这两列数据缺失严重:正常应该是3w行左右数据,但是这两列只有几千条。
- 利用unique查看数据构成
- 数据量差异较大,且认为作用不大,直接删除
Q3. 数据格式几乎都为object,时间、价格、次数等信息需要转换数据类型。
- 时间转换 pd.to_datetime()
- 价格转换为float32:df[‘column’].astype(np.float32)
- 次数转换为int32:df[‘column’].astype(np.int32)
Q4. 部分列数据错乱。例如整体前移了一列。
- 把混乱部分数据单独拿出来赋值给df_hunluan
- 然后通过直接赋值改变数值位置,缺失的数据直接赋值为np.nan
- 最后把整理好的数据与原数据整合
Q5. 常见异常值、缺失值、空值的处