Pandas|DataFrame| DataFrame中的nan值处理

置顶 已于 2023-09-01 15:41:37 修改
阅读量4k 收藏 16
点赞数 2
分类专栏： Pandas 文章标签： pandas python DataFrame pd.isna pd.dropna pd.fillna
于 2023-08-31 17:52:55 首次发布
https://blog.csdn.net/craftsman2020
本文链接：https://blog.csdn.net/craftsman2020/article/details/132606714
版权

文章目录

1. 方法简介

1.1 DataFrame.dropna()

DataFrame.dropna()方法的作用：是删除含用空值或缺失值得行或列。
语法为：dropna（axis=0，how=‘any’，thresh=None，subset=None，inplace=False）
参数：

  1. axis:确定过滤的行或列，取值可以为
    (1) 0或index：删除包含缺失值的行，默认为0。
    (2) 1或columns：删除包含缺失值的列。
  2. how:确定过滤的标准，取值可以为：
    (1)any:默认值，如果存在NaN值，就删除该行或该列。//有一个就删除行或列
    (2)all:如果所有值都是NaN值，就删除该行或该列。 //全部都是才删除行或列
  3. thresh:表示有效数据量的最小要求，比如thresh=3，要求该行或该列至少有三个不是NaN值时将其保留。
  4. subset:表示在特定的字集中寻找NaN值
  5. inplace:表示是否在原数据上操作，如果设为True，则表示直接修改原数据；如果设为False，则表示修改原数据的副本，返回新数据

1.2 .DataFrame.fillna()

语法为：fillna(value=None, method=None, axis=None, inplace=False, limit=None, downcast=None, **kwargs)
参数：

  1. value：用于填充的空值的值。
  2. method： {‘backfill’, ‘bfill’, ‘pad’, ‘ffill’, None}, default None。定义了填充空值的方法， pad / ffill表示用前面行/列的值，填充当前行/列的空值， backfill / bfill表示用后面行/列的值，填充当前行/列的空值。
  3. axis：轴。0或’index’，表示按行删除；1或’columns’，表示按列删除。
  4. inplace：是否原地替换。布尔值，默认为False。如果为True，则在原DataFrame上进行操作，返回值为None。
  5. limit：int， default None。如果method被指定，对于连续的空值，这段连续区域，最多填充前 limit 个空值（如果存在多段连续区域，每段最多填充前 limit 个空值）。如果method未被指定， 在该axis下，最多填充前 limit 个空值（不论空值连续区间是否间断）
  6. downcast：dict, default is None，字典中的项为，为类型向下转换规则。或者为字符串“infer”，此时会在合适的等价类型之间进行向下转换，比如float64 to int64 if possible。

2. 案例

import pandas as pd
import numpy as np
df = pd.DataFrame(np.arange(32).reshape(8, 4), columns=list("abcd"))
df.loc[1, 'a'] = 2
df.loc[1, 'c'] = 2.0
df.loc[6, 'c'] = np.nan
df.loc[3, 'c'] = 10
df.loc[3, ['c', 'd']] = np.nan
df["year"] = '2023'
df["date"] = ['08-25','08-26','08-27','08-28','08-29','08-30','08-31','09-01']
# 合并数据
df["ydate"] =df["year"].map(str) +"-"+ df["date"].map(str) 
df["高温"] = ['15°',  '16°', '20°', '19°', '20°',  '22°', '24°', '23°']
df["低温"] = ['10°',  '11°', '18°', '17°', '10°',  '18°', '20°', '17°']
df["空气质量"] = ['优', '良', '优', '优', '差', '良', '优', np.nan]
print(df)

    a   b     c     d  year   date       ydate   高温   低温 空气质量
0   0   1   2.0   3.0  2023  08-25  2023-08-25  15°  10°    优
1   2   5   2.0   7.0  2023  08-26  2023-08-26  16°  11°    良
2   8   9  10.0  11.0  2023  08-27  2023-08-27  20°  18°    优
3  12  13   NaN   NaN  2023  08-28  2023-08-28  19°  17°    优
4  16  17  18.0  19.0  2023  08-29  2023-08-29  20°  10°    差
5  20  21  22.0  23.0  2023  08-30  2023-08-30  22°  18°    良
6  24  25   NaN  27.0  2023  08-31  2023-08-31  24°  20°    优
7  28  29  30.0  31.0  2023  09-01  2023-09-01  23°  17°  NaN

2.1 删除全部为NaN的行

df1 = df.copy()
df1.loc[8, :] = np.nan
df1

       a 	  b 	  c 	  d 	year 	  date 	  ydate 	  高温 	低温 	空气质量
0 	0.0 	1.0 	2.0 	3.0 	2023 	08-25 	2023-08-25 	15° 	10° 	优
1 	2.0 	5.0 	2.0 	7.0 	2023 	08-26 	2023-08-26 	16° 	11° 	良
2 	8.0 	9.0 	10.0 	11.0 	2023 	08-27 	2023-08-27 	20° 	18° 	优
3 	12.0 	13.0 	NaN 	NaN 	2023 	08-28 	2023-08-28 	19° 	17° 	优
4 	16.0 	17.0 	18.0 	19.0 	2023 	08-29 	2023-08-29 	20° 	10° 	差
5 	20.0 	21.0 	22.0 	23.0 	2023 	08-30 	2023-08-30 	22° 	18° 	良
6 	24.0 	25.0 	NaN 	27.0 	2023 	08-31 	2023-08-31 	24° 	20° 	优
7 	28.0 	29.0 	30.0 	31.0 	2023 	09-01 	2023-09-01 	23° 	17° 	NaN
8 	NaN 	NaN 	NaN 	NaN 	NaN 	NaN 	NaN 	NaN 	NaN 	NaN

df1 = df.dropna(axis=0, how='all')
df1
abcdyeardateydate高温低温空气质量
00.01.02.03.0202308-252023-08-2515°10°优
12.05.02.07.0202308-262023-08-2616°11°良
28.09.010.011.0202308-272023-08-2720°18°优
312.013.0NaNNaN202308-282023-08-2819°17°优
416.017.018.019.0202308-292023-08-2920°10°差
520.021.022.023.0202308-302023-08-3022°18°良
624.025.0NaN27.0202308-312023-08-3124°20°优
728.029.030.031.0202309-012023-09-0123°17°NaN

2.2 删除包含NaN的行

df2 = df.dropna(axis=0, how='any')
df2
abcdyeardateydate高温低温空气质量
00.01.02.03.0202308-252023-08-2515°10°优
12.05.02.07.0202308-262023-08-2616°11°良
28.09.010.011.0202308-272023-08-2720°18°优
416.017.018.019.0202308-292023-08-2920°10°差
520.021.022.023.0202308-302023-08-3022°18°良

2.3 删除包含NaN的列

df3 = df.dropna(axis=1, how='any')
df3
abyeardateydate高温低温
001202308-252023-08-2515°10°
125202308-262023-08-2616°11°
289202308-272023-08-2720°18°
31213202308-282023-08-2819°17°
41617202308-292023-08-2920°10°
52021202308-302023-08-3022°18°
62425202308-312023-08-3124°20°
72829202309-012023-09-0123°17°

2.4 删除全部为NaN的列

df4 = df.copy()
df4["unknow"] = np.nan
df4
abcdyeardateydate高温低温空气质量unknow
0012.03.0202308-252023-08-2515°10°优NaN
1252.07.0202308-262023-08-2616°11°良NaN
28910.011.0202308-272023-08-2720°18°优NaN
31213NaNNaN202308-282023-08-2819°17°优NaN
4161718.019.0202308-292023-08-2920°10°差NaN
5202122.023.0202308-302023-08-3022°18°良NaN
62425NaN27.0202308-312023-08-3124°20°优NaN
7282930.031.0202309-012023-09-0123°17°NaNNaN
df4 = df4.dropna(axis=1, how='all')
df4
abcdyeardateydate高温低温空气质量
0012.03.0202308-252023-08-2515°10°优
1252.07.0202308-262023-08-2616°11°良
28910.011.0202308-272023-08-2720°18°优
31213NaNNaN202308-282023-08-2819°17°优
4161718.019.0202308-292023-08-2920°10°差
5202122.023.0202308-302023-08-3022°18°良
62425NaN27.0202308-312023-08-3124°20°优
7282930.031.0202309-012023-09-0123°17°NaN

2.5 删除指定列是NaN的行

删除指定某一列有nan，这样即可定位到所在行的index，然后对该index进行drop操作即可

df[np.isnan(df['c'])].index #定位某一列是否有nan

输出：

Index([3, 6], dtype='int64')

# 直接drop对应indx即可删除该行
df5 = df.drop(df[np.isnan(df['c'])].index)
df5
abcdyeardateydate高温低温空气质量
0012.03.0202308-252023-08-2515°10°优
1252.07.0202308-262023-08-2616°11°良
28910.011.0202308-272023-08-2720°18°优
4161718.019.0202308-292023-08-2920°10°差
5202122.023.0202308-302023-08-3022°18°良
7282930.031.0202309-012023-09-0123°17°NaN

2.6 删除指定的两列都是空的行

df6 = df.dropna(axis=0, how='all', subset=['c', 'd']) 
df6
abcdyeardateydate高温低温空气质量
0012.03.0202308-252023-08-2515°10°优
1252.07.0202308-262023-08-2616°11°良
28910.011.0202308-272023-08-2720°18°优
4161718.019.0202308-292023-08-2920°10°差
5202122.023.0202308-302023-08-3022°18°良
62425NaN27.0202308-312023-08-3124°20°优
7282930.031.0202309-012023-09-0123°17°NaN

2.7 筛选出NaN的数据

df_nan = df[df['d'].isna()]
df_nan
abcdyeardateydate高温低温空气质量
31213NaNNaN202308-282023-08-2819°17°优

2.8 筛选出非NaN的数据

df_notnan = df[~df['d'].isna()]
df_notnan
abcdyeardateydate高温低温空气质量
0012.03.0202308-252023-08-2515°10°优
1252.07.0202308-262023-08-2616°11°良
28910.011.0202308-272023-08-2720°18°优
4161718.019.0202308-292023-08-2920°10°差
5202122.023.0202308-302023-08-3022°18°良
62425NaN27.0202308-312023-08-3124°20°优
7282930.031.0202309-012023-09-0123°17°NaN

2.9 替换NaN值

df9 = df.fillna('')  # 将nan替换为''
df9
abcdyeardateydate高温低温空气质量
0012.03.0202308-252023-08-2515°10°优
1252.07.0202308-262023-08-2616°11°良
28910.011.0202308-272023-08-2720°18°优
31213202308-282023-08-2819°17°优
4161718.019.0202308-292023-08-2920°10°差
5202122.023.0202308-302023-08-3022°18°良
6242527.0202308-312023-08-3124°20°优
7282930.031.0202309-012023-09-0123°17°

2.10 多条件筛选

nan_df = df[(df['高温'].str.len() <= 2) | (df['空气质量'].isna())]
nan_df
abcdyeardateydate高温低温空气质量
7282930.031.0202309-012023-09-0123°17°NaN

3. 相关文章：

(1) pandas分组聚合|agg|transform|apply

pandas分组聚合|agg|transform|apply

(2) 缺省值判断 pd.isnull, pd.isna, pd.notna, pd.notnull, np.isnan, math.isnan 区别

缺省值判断 pd.isnull, pd.isna, pd.notna, pd.notnull, np.isnan, math.isnan 区别

(3) pandas中DataFrame字典互转

pandas中DataFrame字典互转

(4) pandas.concat实现DataFrame竖着拼接、横着拼接

pandas.concat实现DataFrame竖着拼接、横着拼接

(5) pandas|找出某列最大值的所在的行

pandas|找出某列最大值的所在的行

(6) DataFrame——指定位置增加删除一行一列

DataFrame——指定位置增加删除一行一列

(7) AttributeError: module ‘pandas‘ has no attribute ‘isna‘

AttributeError: module ‘pandas‘ has no attribute ‘isna‘

(8) pandas–Series.str–字符串处理

pandas–Series.str–字符串处理

(9) list、ndarry、Series、DataFrame的创建、索引和选取

list、ndarry、Series、DataFrame的创建、索引和选取

(10) Series和DataFrame复合索引的创建和取值

Series和DataFrame复合索引的创建和取值

(11) pd.notnull

pd.notnull

(12) Pandas|DataFrame| 处理DataFrame中的inf值

Pandas|DataFrame| 处理DataFrame中的inf值

(13) 由字典dictionary或列表list创建dataframe

由字典dictionary或列表list创建dataframe

(14) pandas|DataFrame排序及分组排序

pandas|DataFrame排序及分组排序

(15) Pandas|DataFrame| DataFrame中的nan值处理

Pandas|DataFrame| DataFrame中的nan值处理

craftsman2020
关注
  • 2
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python dataframe NaN处理方式
09-18
今天小编就为大家分享一篇python dataframe NaN处理方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
dataframe缺失值(NaN)处理
热门推荐
博客
07-06 3万+
dataframe缺失值(NaN)处理     在进行机器学习的特征工程时，常常需要根据选择的机器学习算法，采用合适的数据预处理方式，特别是对于对于空值(NaN)的处理，常常使人感到困惑。     一般对于NaN，常常有两种处理方式。第一种——填补。第二种——不处理。     当你使用sklearn库进行机器学习训练时，一般对于缺失值要求较为严格，因此，需要进行填补，至于填补为何值，则需要根据业务...
pandas.DataFrame新增列、dropna()方法-丢弃含空值的行、列；inf的处理技巧
最新发布
qq_53011270的博客
03-04 1048
dropna()方法，能够找到。
pandas中dataframe数据转为python的基本数据结构list
07-04
内容概要： dataframe是pandas中的一种数据类型 list是python的基本数据结构，两者之间可以进行转化 代码示例： import numpy as np import pandas as pd df = pd.DataFrame( data={ "A":1.0, "B":pd.Timestamp("20220121"), "C":pd.Series(1,index=list(range(4)),dtype="float32"), "D":np.array([3]*4,dtype="int32"), "E":pd.Categorical(["test","train","test","train"]), "F":"foo" } )
Python DataFram 判断是否为nan的两种方法
weixin_47536499的博客
04-03 1万+
1、根据是否与自身相等判断是否为nan： nan是一个代表“不是一个数字”的变量，不代表某一具体值，因此变量nan！=nan，可根据此属性判断某一值是否为nan。 构建一个含有nan的DataFrame： import numpy as np import pandas as pd from numpy import nan data=pd.DataFrame(np.arange(16).reshape(4,4),index=list('abcd')) data.iloc[0:3,0:3]=nan pri
4.8 Pandas中的Dataframe 缺失值NaN数据处理（Python）
蚊者逆袭的博客
02-10 3432
数据的缺失导致NaN的出现，直接插入DB中会报错，所以要特殊处理一下。
pandas处理NaN值的方法
m0_63086198的博客
10-01 1222
自定义设计一些自定义的填充策略，例如使用某个模型进行预测填充等。# 创建示例数据集# 自定义填充方法：使用 Feature1 的均值填充 Feature2# 结果print(df)
DataFrame中的 nan 值的处理方法
xxmbby的博客
11-23 2905
DataFrame中的 nan 值的处理方法
DataFrame中处理NaN的常用方法
Plus昺昊的博客
06-11 3868
处理pandas中NaN的常用方法1.删除2.将NaN值替换为自定义的值3.使用前后的值填充4.众数填充缺失值5.平均数填充缺失值 1.删除 删除包含 NaN 的值 // An highlighted block # 删除包含NaN值得任何行 pd.dropna(axis = 0); // An highlighted block # 删除包含NaN值得任何列 pd.dropna(axis = ...
删除DataFrame中值全为NaN或者包含有NaN的列或行方法
12-23
如果存在以下DataFrame 年龄 性别 手机号 0 2 男 NaN 1 3 女 NaN 2 4 NaN NaN 删除NaN所在的行： 删除表中全部为NaN的行 df.dropna(axis=0,how='all') 删除表中含有任何NaN的行 df.dropna(axis=0,how='any') #drop all rows that have any NaN values 删除NaN所在的列： 删除表中全部为NaN的行 df.dropna(axis=1,how='all') 删除表中含有任
pandas对dataFrame中某一个列的数据进行处理的方法
09-19
主要介绍了pandas对dataFrame中某一个列的数据进行处理的方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
Pandas中DataFrame的分组/分割/合并的实现
09-19
主要介绍了Pandas中DataFrame的分组/分割/合并的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
Pandas中DataFrame基本函数整理(小结)
09-16
主要介绍了Pandas中DataFrame基本函数整理(小结)，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
如何更改 pandas dataframe 中两列的位置
01-20
如何更改 pandas dataframe 中两列的位置： 把其中的某列移到第一列的位置。 原来的 df 是： df = pd.read_csv('I:/Papers/consumer/codeandpaper/TmallData/result01.csv') Net Upper Lower Mid Zsore Answer ...
pandas.DataFrame 索引
12-20
pandas.DataFrame 索引df.loc / df：选择行与列df：选择列df.loc：选择行df.iloc：按整数位置选择行布尔型索引多重索引 df.loc / df：选择行与列 df：选择列 默认一般用于选择列，但也可以选择行 import numpy ...
缺省值判断 pd.isnull, pd.isna, pd.notna, pd.notnull, np.isnan, math.isnan 区别
craftsman2020的博客
08-02 5514
文章目录1、基础知识准备(1) np.nan != np.nan(2) nan和None代码示例(3) pandas 中将nan和None都处理为np.nan2、pd.isnull == pd.isna(1) 有趣的现象(2) 原因 1、基础知识准备 (1) np.nan != np.nan 在计算机中本没有绝对绝对相等的数据，所谓的相等只是精度允许的条件下相等！np.nan 原意为 not a number。 概括： 对某个值是否为nan进行判断，只能用np.isnan(i)，绝不可用 i == n
pandas|DataFrame排序及分组排序
craftsman2020的博客
11-25 5443
需要对df进行分组后排序 import pandas as pd df = pd.DataFrame([['a', 100, 'c'], ['a', 300, 'a'], ['a', 200, 'b'], ['c', 300, 'a'], ['c', 200, 'b'], ['c', 100, 'c'], ['b', 200, 'b'], ['b', 300, 'a'], ['b', 100, 'c']], columns=[.
pandas修改dataframe中的值
03-16
使用 Pandas 修改 DataFrame 中的值可以通过 loc 或 iloc 方法实现。 loc 方法根据行标签和列标签访问 DataFrame 中的元素，可以通过 loc 方法设置要修改的元素的值。例如，如果要将 DataFrame 中行标签为“row1”、列标签为“col1”的元素的值修改为 10，可以使用以下代码： ``` import pandas as pd # 创建 DataFrame df = pd.DataFrame({'col1': [1, 2, 3], 'col2': [4, 5, 6]}, index=['row1', 'row2', 'row3']) # 修改元素的值 df.loc['row1', 'col1'] = 10 ``` iloc 方法根据行索引和列索引访问 DataFrame 中的元素，可以通过 iloc 方法设置要修改的元素的值。例如，如果要将 DataFrame 中第一行、第一列的元素的值修改为 10，可以使用以下代码： ``` import pandas as pd # 创建 DataFrame df = pd.DataFrame({'col1': [1, 2, 3], 'col2': [4, 5, 6]}, index=['row1', 'row2', 'row3']) # 修改元素的值 df.iloc[0, 0] = 10 ``` 使用 loc 或 iloc 方法修改 DataFrame 中的元素值需要注意的是，DataFrame 是可变对象，修改 DataFrame 中的元素值会直接修改原对象，因此需要谨慎操作。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值