Pandas系列学习教程——06 pandas处理缺失值

系列文章目录

第一章 Pandas 学习入门之pandas数据读取

第二章 Pandas 学习入门之pandas数据结构

第三章 Pandas 学习入门之pandas数据查询

第四章 Pandas 学习入门之pandas新增数据列

第五章 Pandas 学习入门之pandas数据统计函数

第六章 Pandas 学习入门之pandas处理缺失值 

---

随着人工智能的不断发展，数据分析这门技术也越来越重要，很多人都开启了学习数据分析，本文就介绍了pandas学习的基础内容。本章简单介绍了pandas处理缺失值的步骤，详细请看下文。

系列文章目录

前言

一、pandas缺失值处理相关函数

二、实例展示——特殊Excel的读取、清洗、处理

0.引入库

 1.读取excel的时候，忽略前几个空行

​ 2.检测空值

 3.删除掉全是空值的列

 4.删除掉全是空值的行

 5.将分数列为空的填充为0分

 6.将姓名的缺失值填充

 7.将清洗好的excel保存

总结

---

前言

本章仅仅简单介绍了pandas数据统计函数的3种方法——汇总类统计、唯一去重和按值计数、相关系数与协方差。

---

提示：以下是本篇文章正文内容，下面案例可供参考

一、pandas缺失值处理相关函数

Pandas使用这些函数处理缺失值：

• isnull和notnull：检测是否是空值，可用于df和series
• dropna：丢弃、删除缺失值
  • axis : 删除行还是列，{0 or ‘index’, 1 or ‘columns’}, default 0
  • how : 如果等于any则任何值为空都删除，如果等于all则所有值都为空才删除
  • inplace : 如果为True则修改当前df，否则返回新的df
• fillna：填充空值
  • value：用于填充的值，可以是单个值，或者字典（key是列名，value是值）
  • method : 等于ffill使用前一个不为空的值填充forword fill；等于bfill使用后一个不为空的值填充backword fill
  • axis : 按行还是列填充，{0 or ‘index’, 1 or ‘columns’}
  • inplace : 如果为True则修改当前df，否则返回新的df

二、实例展示——特殊Excel的读取、清洗、处理

0.引入库

代码如下（示例）：

import pandas as pd

1.读取excel的时候，忽略前几个空行

skiprows=2参数告诉pandas在读取数据之前跳过前两行。

这对于忽略文件中的标题或其他非数据信息非常有用。

studf = pd.read_excel("./student_excel.xlsx", skiprows=2)
studf

 2.检测空值

studf.isnull()

studf["分数"].isnull()

studf["分数"].notnull()

# 筛选没有空分数的所有行
studf.loc[studf["分数"].notnull(), :]

 3.删除掉全是空值的列

studf.dropna(axis="columns", how='all', inplace=True)
studf

 4.删除掉全是空值的行

studf.dropna(axis="index", how='all', inplace=True)
studf

 5.将分数列为空的填充为0分

studf.fillna({"分数":0})

# 等同于
studf.loc[:, '分数'] = studf['分数'].fillna(0)
studf

 6.将姓名的缺失值填充

 使用前面的有效值填充，用ffill：forward fill

studf.loc[:, '姓名'] = studf['姓名'].fillna(method="ffill")
studf

method : 等于ffill使用前一个不为空的值填充forword fill；等于bfill使用后一个不为空的值填充backword fill 

 7.将清洗好的excel保存

studf.to_excel("student_excel_clean.xlsx", index=False)

总结

提示：这里对文章进行总结：

随着人工智能的不断发展，数据分析这门技术也越来越重要，很多人都开启了学习数据分析，本文就介绍了pandas学习的基础内容。本章简单介绍了pandas处理缺失值的步骤，详细请阅览上文。