python处理链家数据项目总结

项目背景

数据来自某课程老师教学案例数据，目标是根据数据对北京市房价进行分析，获取单价、单价的周走势、成交数量的周走势等信息。

项目中遇到的问题及应对

数据读取部分

已经写在上一篇博客中python读取csv报错

数据清洗部分

Q1. 缺少关于地区的信息。其实是原始数据将大区信息放在该区域数据之前单独一行。

1. 复制含有地区信息的列
2. 查看该列数据特点：除了有用的数据外都是数值
3. 用空值替代数值
4. 用地区信息填充空值

Q2. xx1,xx2这两列数据缺失严重：正常应该是3w行左右数据，但是这两列只有几千条。

1. 利用unique查看数据构成
2. 数据量差异较大，且认为作用不大，直接删除

Q3. 数据格式几乎都为object，时间、价格、次数等信息需要转换数据类型。

1. 时间转换 pd.to_datetime()
2. 价格转换为float32：df[‘column’].astype(np.float32)
3. 次数转换为int32：df[‘column’].astype(np.int32)

Q4. 部分列数据错乱。例如整体前移了一列。

1. 把混乱部分数据单独拿出来赋值给df_hunluan
2. 然后通过直接赋值改变数值位置，缺失的数据直接赋值为np.nan
3. 最后把整理好的数据与原数据整合

Q5. 常见异常值、缺失值、空值的处