Python学习7 ----Pandas数据预处理实例

Pandas数据预处理实例

代码详见https://github.com/RenDong3/Python_Note

1实例背景

该实例使用数据为kaggle经典入门竞赛,泰坦尼克
比赛解析 https://github.com/apachecn/Interview/tree/master/docs/Kaggle/competitions/getting-started/titanic

2 Pandas数据预处理

2.1 读取数据

对于csv数据每一列代表的含义以及详细分析见比赛解析给的网址(在上面哦!!)

2.2 缺失值统计

观察发现,'Age’列含有大量缺失值,Nan即代表缺失值

2.3 平均值计算

如果不对缺失值做预处理,得到结果为nan

只对有效数据进行计算得到平均值

使用dropna()丢弃缺失值

3 列属性之间关联

一般使用pivot_table()得到index和values之间的关联

4排序操作

对Age进行排序操作,但index不变化


对Age进行排序操作,同时index也按照顺序排序

5 自定义函数

使用apply()调用自定义函数