在Pandas中处理缺失数据

最新推荐文章于 2024-03-26 11:59:05 发布
最新推荐文章于 2024-03-26 11:59:05 发布
阅读量2k 收藏 15
点赞数 3
分类专栏： 数据科学 数据分析 文章标签： pandas python 数据科学
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42034590/article/details/131031651
版权

当没有为一个或多个项目或整个单元提供信息时，可能会出现数据缺失。缺失数据在现实生活中是一个非常大的问题。缺失数据在pandas中也可以称为NA（不可用）值。在DataFrame中，有时许多数据集只是缺少数据，因为它存在而未被收集，或者它从未存在过。例如，假设被调查的不同用户可能选择不共享他们的收入，一些用户可能选择不共享地址，以这种方式许多数据集丢失。

在这里插入图片描述
在Pandas中，缺失数据由两个值表示：

  • None：None是一个Python单例对象，通常用于Python代码中丢失的数据。
  • NaN：NaN（Not a Number的首字母缩写）是一个特殊的浮点值，所有使用标准IEEE浮点表示的系统都能识别它

Pandas将None和NaN视为基本上可互换的，用于指示缺失或空值。为了方便这个约定，有几个有用的函数可以检测，删除和替换Pandas DataFrame中的null值：

isnull()
notnull()
dropna()
fillna()
replace()
interpolate()

使用isnull（）和notnull（）检查缺少的值

为了检查Pandas DataFrame中缺少的值，我们使用了一个函数isnull（）和notnull（）。这两个函数都有助于检查值是否为NaN。这些函数也可以在Pandas系列中使用，以便在系列中查找空值。

使用isnull（）检查缺少的值

示例1：

# importing pandas as pd
import pandas as pd
  
# importing numpy as np
import numpy as np
  
# dictionary of lists
dict = {'First Score':[100, 90, np.nan, 95],
        'Second Score': [30, 45, 56, np.nan],
        'Third Score':[np.nan, 40, 80, 98]}
  
# creating a dataframe from list
df = pd.DataFrame(dict)
  
# using isnull() function  
df.isnull()

在这里插入图片描述
示例2：


# importing pandas package 
import pandas as pd 
    
# making data frame from csv file 
data = pd.read_csv("employees.csv") 
    
# creating bool series True for NaN values 
bool_series = pd.isnull(data["Gender"]) 
    
# filtering data 
# displaying data only with Gender = NaN 
data[bool_series]

在这里插入图片描述
使用notnull（）检查缺少的值
为了检查Pandas Dataframe中的空值，我们使用notnull（）函数，该函数返回布尔值的dataframe，对于NaN值为False。


# importing pandas as pd
import pandas as pd
  
# importing numpy as np
import numpy as np
  
# dictionary of lists
dict = {'First Score':[100, 90, np.nan, 95],
        'Second Score': [30, 45, 56, np.nan],
        'Third Score':[np.nan, 40, 80, 98]}
  
# creating a dataframe using dictionary
df = pd.DataFrame(dict)
  
# using notnull() function 
df.notnull()

在这里插入图片描述

# importing pandas package
import pandas as pd
	
# making data frame from csv file
data = pd.read_csv("employees.csv")
	
# creating bool series True for NaN values
bool_series = pd.notnull(data["Gender"])
	
# filtering data
# displaying data only with Gender = Not NaN
data[bool_series]

在这里插入图片描述

使用fillna（）、replace（）和interpolate（）填充缺失值

为了填充数据集中的空值，我们使用fillna（），replace（）和interpolate（）函数，这些函数将NaN值替换为它们自己的一些值。所有这些函数都有助于在DataFrame的数据集中填充空值。Interpolate（）函数基本上用于填充数据中的NA值，但它使用各种插值技术来填充丢失的值，而不是硬编码值。

代码1：用单个值填充空值

# importing pandas as pd
import pandas as pd

# importing numpy as np
import numpy as np

# dictionary of lists
dict = {'First Score':[100, 90, np.nan, 95],
		'Second Score': [30, 45, 56, np.nan],
		'Third Score':[np.nan, 40, 80, 98]}

# creating a dataframe from dictionary
df = pd.DataFrame(dict)

# filling missing value using fillna()
df.fillna(0)

在这里插入图片描述
代码2：用先前的值填充空值

# importing pandas as pd
import pandas as pd

# importing numpy as np
import numpy as np

# dictionary of lists
dict = {'First Score':[100, 90, np.nan, 95],
		'Second Score': [30, 45, 56, np.nan],
		'Third Score':[np.nan, 40, 80, 98]}

# creating a dataframe from dictionary
df = pd.DataFrame(dict)

# filling a missing value with
# previous ones
df.fillna(method ='pad')

在这里插入图片描述

代码3：用下一个值填充空值

# importing pandas as pd
import pandas as pd

# importing numpy as np
import numpy as np

# dictionary of lists
dict = {'First Score':[100, 90, np.nan, 95],
		'Second Score': [30, 45, 56, np.nan],
		'Third Score':[np.nan, 40, 80, 98]}

# creating a dataframe from dictionary
df = pd.DataFrame(dict)

# filling null value using fillna() function
df.fillna(method ='bfill')

在这里插入图片描述

代码4：在CSV文件中填充空值

# importing pandas package
import pandas as pd
	
# making data frame from csv file
data = pd.read_csv("employees.csv")

# Printing the first 10 to 24 rows of
# the data frame for visualization
data[10:25]

在这里插入图片描述
现在我们要用“No Gender”来填充性别列中的所有空值

# importing pandas package
import pandas as pd
	
# making data frame from csv file
data = pd.read_csv("employees.csv")

# filling a null values using fillna()
data["Gender"].fillna("No Gender", inplace = True)

data

在这里插入图片描述
代码5：使用replace（）方法填充空值

# importing pandas package
import pandas as pd
	
# making data frame from csv file
data = pd.read_csv("employees.csv")

# Printing the first 10 to 24 rows of
# the data frame for visualization
data[10:25]

在这里插入图片描述
现在我们将数据中的所有Nan值替换为-99值。

# importing pandas package
import pandas as pd
	
# making data frame from csv file
data = pd.read_csv("employees.csv")
	
# will replace Nan value in dataframe with value -99
data.replace(to_replace = np.nan, value = -99)

在这里插入图片描述
代码6：使用interpolate（）函数使用线性方法填充缺失值。

# importing pandas as pd
import pandas as pd
	
# Creating the dataframe
df = pd.DataFrame({"A":[12, 4, 5, None, 1],
				"B":[None, 2, 54, 3, None],
				"C":[20, 16, None, 3, 8],
				"D":[14, 3, None, None, 6]})
	
# Print the dataframe
df

在这里插入图片描述
让我们使用线性方法插值缺失值。请注意，线性方法忽略索引并将值视为等间距。

# to interpolate the missing values
df.interpolate(method ='linear', limit_direction ='forward')

在这里插入图片描述
正如我们可以看到的输出，第一行中的值无法填充，因为值的填充方向是向前的，并且没有可以用于插值的先前值。

使用dropna（）删除缺失值

为了从数据中删除空值，我们使用了dropna（）函数，该函数以不同的方式删除具有空值的数据集的行/列。

代码1：删除至少包含1个null值的行。

# importing pandas as pd
import pandas as pd

# importing numpy as np
import numpy as np

# dictionary of lists
dict = {'First Score':[100, 90, np.nan, 95],
		'Second Score': [30, np.nan, 45, 56],
		'Third Score':[52, 40, 80, 98],
		'Fourth Score':[np.nan, np.nan, np.nan, 65]}

# creating a dataframe from dictionary
df = pd.DataFrame(dict)
	
df

在这里插入图片描述
现在我们删除至少有一个Nan值（Null值）的行

# importing pandas as pd
import pandas as pd

# importing numpy as np
import numpy as np

# dictionary of lists
dict = {'First Score':[100, 90, np.nan, 95],
		'Second Score': [30, np.nan, 45, 56],
		'Third Score':[52, 40, 80, 98],
		'Fourth Score':[np.nan, np.nan, np.nan, 65]}

# creating a dataframe from dictionary
df = pd.DataFrame(dict)

# using dropna() function
df.dropna()

在这里插入图片描述
代码2：如果行中的所有值都丢失，则删除该行。

# importing pandas as pd
import pandas as pd

# importing numpy as np
import numpy as np

# dictionary of lists
dict = {'First Score':[100, np.nan, np.nan, 95],
		'Second Score': [30, np.nan, 45, 56],
		'Third Score':[52, np.nan, 80, 98],
		'Fourth Score':[np.nan, np.nan, np.nan, 65]}

# creating a dataframe from dictionary
df = pd.DataFrame(dict)
	
df

在这里插入图片描述
现在我们删除所有数据缺失或包含空值（NaN）的行

# importing pandas as pd
import pandas as pd

# importing numpy as np
import numpy as np

# dictionary of lists
dict = {'First Score':[100, np.nan, np.nan, 95],
		'Second Score': [30, np.nan, 45, 56],
		'Third Score':[52, np.nan, 80, 98],
		'Fourth Score':[np.nan, np.nan, np.nan, 65]}

df = pd.DataFrame(dict)

# using dropna() function	
df.dropna(how = 'all')

在这里插入图片描述

代码3：删除至少包含1个null值的列。

# importing pandas as pd
import pandas as pd

# importing numpy as np
import numpy as np

# dictionary of lists
dict = {'First Score':[100, np.nan, np.nan, 95],
		'Second Score': [30, np.nan, 45, 56],
		'Third Score':[52, np.nan, 80, 98],
		'Fourth Score':[60, 67, 68, 65]}

# creating a dataframe from dictionary
df = pd.DataFrame(dict)
	
df

在这里插入图片描述
现在我们删除至少有1个缺失值的列

# importing pandas as pd
import pandas as pd

# importing numpy as np
import numpy as np

# dictionary of lists
dict = {'First Score':[100, np.nan, np.nan, 95],
		'Second Score': [30, np.nan, 45, 56],
		'Third Score':[52, np.nan, 80, 98],
		'Fourth Score':[60, 67, 68, 65]}

# creating a dataframe from dictionary
df = pd.DataFrame(dict)

# using dropna() function	
df.dropna(axis = 1)

在这里插入图片描述
代码4：删除CSV文件中至少有1个空值的行

# importing pandas module
import pandas as pd
	
# making data frame from csv file
data = pd.read_csv("employees.csv")
	
# making new data frame with dropped NA values
new_data = data.dropna(axis = 0, how ='any')
	
new_data

在这里插入图片描述
现在我们比较数据的大小，以便了解有多少行至少有1个Null值

print("Old data frame length:", len(data))
print("New data frame length:", len(new_data))
print("Number of rows with at least 1 NA value: ", (len(data)-len(new_data)))

输出：

Old data frame length: 1000
New data frame length: 764
Number of rows with at least 1 NA value:  236

由于差值为236，因此有236行在任何列中至少有1个Null值。

python收藏家
关注
  • 3
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
第五节、Pandas基础知识
quanhujing的专栏
05-01 151
目录 一、样本数据student.csv 二、Pandas读取文件 三、Pandas 查看数据基本信息 四、Pandas 基本运算 五、pvoit_table函数 六、删除确实值 七、修改排序后索引 八、DataFrame的apply函数 九、DataFrame的子结构series 一、样本数据student.csv NO Name class age score01 score02 address 1 student01 1
Pandas 缺失数据处理的实现
01-02
数据丢失(缺失)在现实生活中总是一个问题。 机器学习和数据挖掘等领域由于数据缺失导致的数据质量差，在模型预测的准确性上面临着严重的问题。 在这些领域，缺失值处理是使模型更加准确和有效的重点。 使用重构索引(reindexing)，创建了一个缺少值的DataFrame。 在输出中，NaN表示不是数字的值。 一、检查缺失值 为了更容易地检测缺失值(以及跨越不同的数组dtype)，Pandas提供了isnull()和notnull()函数，它们也是Series和DataFrame对象的方法 示例1 import pandas as pd import numpy as np df = pd.Da
Pandas基础之删除缺失值
最新发布
m0_55703957的博客
03-26 192
【代码】Pandas基础之删除缺失值。
pandas缺失值该怎么处理?
devid008的博客
06-26 1624
在数据分析中，常常会遇到缺失值的问题。对缺失值的恰当处理可以有效提高数据质量和模型的预测精度。Pandas提供了丰富的方法来检测和处理缺失值。本文对这些方法作了详细概括。
pandas功能和用法
从此醉
08-13 1264
在数据分析中经常要用到几个包：numpy，pandas，scipy，matplotlib。其中pandas可以高效地操作大量数据集，便捷快速地处理数据。但是由于使用SQL比较多，pandas用的真的很少，所以总会忘记用法。这里对pandas的功能用法做个梳理和总结。 参考：https://blog.csdn.net/yiyele/article/details/80605909 pand...
【Pandas超实用经验汇总-数据建模分析】
m0_52307083的博客
03-09 3251
Pandas超实用经验汇总-数据分析 @TOC Pandas超实用经验汇总-数据分析 前言 看见了很多教程虽然很全，但是很多技巧容易忘记且几乎用不上，读起来晦涩难懂，今天我给大家总结了Pandas的一些学习经验技巧，包含常见日常使用的pandas知识，以及一些技巧 一、基本方法 1.读取文件 如下： import pandas as pd #正常写法，简单粗暴 #csv: df = pd.read_csv("./1.csv") #excel df = pd.read_excel("1.xlsx")
pandas数据清洗——缺失值处理
m0_51612678的博客
11-12 3860
pandas数据清洗——缺失值处理
Pandas对缺失值的处理
蚂蚁学Python
09-27 2287
Pandas使用这些函数处理缺失值： isnull和notnull：检测是否是空值，可用于df和series dropna：丢弃、删除缺失值 axis : 删除行还是列，{0 or ‘index’, 1 or ‘columns’}, default 0 how : 如果等于any则任何值为空都删除，如果等于all则所有值都为空才删除 inplace : 如果为True则修改当前df，否则返回新...
Pandas缺失值处理
路在脚下
04-17 4520
稀疏数据指的是在数据库或者数据集中存在大量缺失数据或者空值，本文对空值的替换和删除记录
Pandas 删除数据
不忘初欣丶的博客
04-16 8092
pandas中删除数据，删除重复值、删除缺失值等
pandas删除某列有空值的行
Rick_M的博客
07-29 2693
由subset限制的子区域，是判断是否删除该行/列的条件判断区域。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。dropna()方法，能够找到DataFrame类型数据的空值（缺失值），将空值所在的行/列删除后，将新的DataFrame作为返回值返回。‘any’，表示该行/列只要有一个以上的空值，就删除该行/列；‘all’，表示该行/列全部都为空值，就删除该行/列。如果该行/列中，非空元素数量小于这个值，就删除该行/列。1或’columns’，表示按列删除。
Python 中pandas索引切片读取数据缺失数据处理问题
09-18
pandas是一个Python软件包，提供快速，灵活和富于表现力的数据结构，旨在使使用“关系”或“标记”数据既简单又直观。这篇文章主要介绍了pandas索引切片读取数据缺失数据处理,需要的朋友可以参考下
pandas对缺失数据的处理、数据序列、字符串处理
03-12
pandas对缺失数据的处理、数据序列、字符串处理
7.pandas缺失值处理（表格数据处理）
CSDN专家-微编程的博客
08-14 562
案例：对特殊的Excel的读取，清洗，处理。
python pandas的dataframe对象，如何查看、删除对象中包含nan值的行或者是列？
跬步Python股票数据量化分析
04-29 2618
dataframe对象中可能有存在nan数值，我们在数据处理的guoc过程中，可能会有查看、删除等操作。这里做一个汇总： 1.查看dataframe对象中nan值。 df.isnull() 2.删除数据中包含缺失值nan的行 cleaned_df = data.dropna() 3.删除数据中包含缺失值nan的列 cleaned_df = data.dropna(...
python pandas dropna 删除空值/缺失值(DataFrame)
热门推荐
small__roc的博客
02-22 2万+
文章目录一、函数参数二、例子详解2.1 载入库2.2 构建一个DataFrame2.3 默认参数2.4 axis2.5 how2.6 thresh2.7 subset 一、函数参数 函数形式：dropna(axis=0, how=‘any’, thresh=None, subset=None, inplace=False) 参数：    axis：0或’index’，表示按行删除；1或’columns’，表示按列删除。    how：‘any’，表示该行/列只要有一个以上的空值，就删除该行/列；‘all’
Pandas 中一些常用的缺失数据处理函数
theskylife的博客
10-29 4687
1.查看缺失值 df.isnull().any(): 查看哪些字段存在缺失值 df.isnull().sum(): 查看具体每个字段的缺失值个数 df.loc[df[col].isnull().values==True,:]:查看col字段存在缺失的数据 df.columns[df.isnull().any()].tolist():输出缺失字段的列表 2.删除缺失值 dropna...
[Pandas] 缺失值删除 df.dropna()
Hudas的博客
02-14 6261
[Pandas] 缺失值删除 df.dropna()方法
[Pandas] 删除指定列值为空的行
Hudas的博客
06-28 7363
本文主要讲解利用Pandas删除指定列值为空的行
pandas缺失数据处理
11-29
Pandas是一个强大的数据分析工具，可以轻松地处理缺失数据。下面是一些处理缺失数据的方法： 1. 检查缺失数据 ```python import pandas as pd import numpy as np # 创建一个包含缺失数据的DataFrame df = pd....

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值