Pandas缺失值处理

最新推荐文章于 2024-06-20 16:11:57 发布
最新推荐文章于 2024-06-20 16:11:57 发布
阅读量500 收藏 3
点赞数 6
分类专栏： Pandas数据处理 文章标签： pandas 数据分析 数据挖掘 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41715032/article/details/136958252
版权
本文详细介绍了如何使用Pandas库处理Excel数据，包括检查空值、删除全空列和行、填充缺失值（如将0分替换为0，姓名用前一个有效值填充），并展示了从实际数据清理到保存的完整流程。
摘要由CSDN通过智能技术生成

Pandas使用这些函数处理缺失值：

  1. isnull 和 notnull ： 检查是否空值，可用于 df 和 series

  2. dropna ： 丢弃、删除缺失值

    ① axis ： 删除行还是列，{0 or ‘index’, 1 or ‘columns’}, default 0
    ② how : 如果等于 any 则任何值为空都删除，如果等于 all 则所有值都为空才删除

  3. fillna ： 填充空值
    ① value ：用于填充的值，可以是单个值，或者字典（key 是列名，value是值）
    ② method ： 等于 ffill 使用前一个不为空的值填充 forword fill；等于 bfill 使用后一个不为空的值填充 bacword fill
    ③ axis ：按行还是列填充，{0 or ‘index’, 1 or ‘columns’}
    ④ inplace：如果为 True 则修改当前 df，否则返回新的 df

以下我们进行特殊 Excel 的读取、清洗、处理实例训练：

文章目录

0.数据介绍

我们导入的数据是一个不规则的学生分数数据，左边有一列空行，上面有两行空行，小王数学成绩成绩为空。
在这里插入图片描述
我们要处理后的数据是这样的：
在这里插入图片描述

1.读取 Excel 的时候，忽略前几行

在这里插入图片描述

2. 检测空值

在这里插入图片描述

3. 删除全是空值的列

在这里插入图片描述

4. 删除全是空值的行

在这里插入图片描述

5. 将分数列为0的值填充为0分

在这里插入图片描述

6.将姓名的缺失值填充

使用前面的有效值填充，用ffill： forward fill
在这里插入图片描述

7.保存数据

在这里插入图片描述

summer_8102
关注
  • 6
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
pandas缺失值该怎么处理?
devid008的博客
06-26 2102
在数据分析中，常常会遇到缺失值的问题。对缺失值的恰当处理可以有效提高数据质量和模型的预测精度。Pandas提供了丰富的方法来检测和处理缺失值。本文对这些方法作了详细概括。
在Pandas中处理缺失数据
python收藏家的博客
07-11 2228
在Pandas中处理缺失数据
【Python数据分析】Pandas_缺失值处理
最新发布
qq_45951891的博客
06-20 735
稀疏数据，指的是在数据库或者数据集中存在大量缺失数据或者空值，我们把这样的数据集称为稀疏数据集。稀疏数据不是无效数据，只不过是信息不全而已，只要通过适当的方法就可以“变废为宝”。
[Pandas] 缺失值删除 df.dropna()
Hudas的博客
02-14 6790
[Pandas] 缺失值删除 df.dropna()方法
pandas填充缺失值
爱问西瓜爱大树的博客
10-08 1266
将dataframe中的NAN值进行填充，填充方法如下： 用0填充： df.fillna(0) 用字符串填充： df.fillna("missing") 用前一个数据填充： df.fillna(method="pad") 用后一个数据代替NaN: df.fillna(method="bfill") limit参数限制每列可以替代NaN的数目，例如限制每列只能替代一个NaN df.filln...
pandas (十) 缺失值的处理：填充、删除、过滤、查询
风华浪浪的博客
07-02 1594
将姓名的缺失值填充： 使用前面的有效值填充，用ffill： forward fill。将清晰好的数据保存到excle中。读取excel，忽略前几行空行。将分数为空的填充为0分。
简单了解Pandas缺失值处理方法
09-18
主要介绍了简单了解Pandas缺失值处理方法,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
pandas缺失值处理.pptx
09-15
- `describe()` 方法提供了一系列统计信息，包括计数（包含缺失值的数量）、平均值、标准差等，这对于理解数据和决定缺失值处理策略很有帮助。 6. **数据集成与缺失值处理** - 当合并多个数据源时，可能会遇到...
pandas 缺失值处理.md
09-01
主要介绍缺失值的定义、产生与处理，对缺失值做处理时的一些影响
Pandas缺失值2种处理方式代码实例
09-16
在这种情况下，我们需要先将这些标记转换为`np.nan`，然后再进行缺失值处理。这可以通过`replace()`函数实现： ```python # 将"默认值"标记替换为np.nan mm = movie.replace(to_replace='默认值', value=np.nan) ``...
pandas处理缺失数据
一个大三的python爱好者
03-19 952
介绍pandas处理缺失数据的方法
[学习笔记]-pandas
xiaoqian19的博客
04-16 528
Pandas 是一个开源的数据分析和数据处理库，它是基于 Python 编程语言的，主要用于处理结构化数据。在数分中经常用于数据预处理、清洗、分析操作，专门为处理表格和混杂数据设计的，相当于Python的Excel。DataFrame和Series。series为一维数组或列表，由一组数据以及与之相关的数据标签（索引）构成类似于excel中的一列；dataframe为二维表格，类似一个excel表格，可看作由多个series按列排列而成的表格，有行索引和列索引；学习资料：菜鸟教程。
pandas 高级处理-缺失值处理
汪云辉的博客
08-15 376
pandas 高级处理-缺失值处理 1 如何处理nan 1获取缺失值的标记方式(NaN或者其他标记方式) 2如果缺失值的标记方式是NaN 判断数据中是否包含NaN： pd.isnull(df), pd.notnull(df) 存在缺失值nan,并且是np.nan: 1、删除存在缺失值的:dropna(axis=‘rows’) 注：不会修改原数据，需要接受返回值...
pandas 缺失数据处理大全
Python数据挖掘
07-09 587
本次来介绍关于缺失值数据处理的几个常用方法。一、缺失值类型在pandas中，缺失数据显示为。缺失值有3种表示方法，np.nannonepd.NA。
Python Pandas缺失值处理
ccc369639963的博客
04-19 3418
Python Pandas缺失值处理 在一些数据分析业务中，数据缺失是我们经常遇见的问题，缺失值会导致数据质量的下降，从而影响模型预测的准确性，这对于机器学习和数据挖掘影响尤为严重。因此妥善的处理缺失值能够使模型预测更为准确和有效。 为什么会存在缺失值？ 前面章节的示例中，我们遇到过很多 NaN 值，关于缺失值您可能会有很多疑问，数据为什么会丢失数据呢，又是从什么时候丢失的呢？通过下面场景，您会得到答案。 其实在很多时候，人们往往不愿意过多透露自己的信息。假如您正在对用户的产品体验做调查，在这个过程中您会发
pandas:填充缺失值
Flyme的博客
04-16 8万+
pandas处理缺失值
手把手教你用pandas处理缺失值
pdcfighting的博客
04-18 2232
点击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤人有悲欢离合，月有阴晴圆缺。导读：在进行数据分析和建模的过程中，大量的时间...
pandas：缺失值处理
weixin_43887421的博客
12-28 5285
pandas：缺失值处理前言一、isnull()二、notnull()三、dropna()四、fillna()总结 前言 当我们在处理数据时，总会遇到数值缺失的问题，pandas在处理缺失值的方面提供了很全面的方法，主要包括：isnull()——找出缺失值；notnull()——找出非缺失值；dropna()——剔除缺失值；fillna()——填充缺失值。具体使用方法请往下看。 提示：以下是本篇文章正文内容，下面案例可供参考 一、isnull() isnull()用来找出缺失值的位置，返回一个布尔类型的
Python-pandas的fillna()方法-填充空值
热门推荐
qq_17753903的博客
05-06 18万+
0.摘要 pandas中fillna()方法，能够使用指定的方法填充NA/NaN值。 1.函数详解 函数形式：fillna(value=None, method=None, axis=None, inplace=False, limit=None, downcast=None, **kwargs) 参数： value：用于填充的空值的值。 method：{'backfill',...
pandas缺失值处理
03-29
Pandas缺失值处理可以使用以下方法： 1. dropna()方法：将含有缺失值的行或列删除。 2. fillna()方法：使用指定的值填充缺失值。 3. interpolate()方法：使用插值法填充缺失值。 4. isna()方法：返回DataFrame中每个元素是否为缺失值的布尔值。 5. notna()方法：返回DataFrame中每个元素是否不为缺失值的布尔值。 下面给出一个示例： ```python import pandas as pd import numpy as np df = pd.DataFrame({'A': [1, 2, np.nan, 4], 'B': [5, np.nan, 7, 8], 'C': [9, 10, 11, 12]}) # 删除含有缺失值的行 df.dropna(inplace=True) # 使用指定的值填充缺失值 df.fillna(value=0, inplace=True) # 使用插值法填充缺失值 df.interpolate(inplace=True) # 返回每个元素是否为缺失值的布尔值 df.isna() # 返回每个元素是否不为缺失值的布尔值 df.notna() ``` 以上方法可以根据具体需求选择使用。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值