pandas第六章——缺失数据

最新推荐文章于 2023-04-18 23:50:14 发布
最新推荐文章于 2023-04-18 23:50:14 发布
阅读量306 收藏
点赞数
文章标签： 1024程序员节
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44617944/article/details/109259300
版权 
df = pd.read_csv('data/table_missing.csv')
df.head()

  School Class      ID Gender   Address  Height  Weight  Math Physics      
0    S_1   C_1     NaN      M  street_1     173     NaN  34.0      A+      
1    S_1   C_1     NaN      F  street_2     192     NaN  32.5      B+      
2    S_1   C_1  1103.0      M  street_2     186     NaN  87.2      B+      
3    S_1   NaN     NaN      F  street_2     167    81.0  80.4     NaN      
4    S_1   C_1  1105.0    NaN  street_4     159    64.0  84.8      A-

一、缺失观测及其类型

了解缺失信息

isna和notna方法

对Series
isna

df['Physics'].isna().head()

0    False
1    False
2    False
3     True
4    False
Name: Physics, dtype: bool

notna

df['Physics'].notna().head()

0     True
1     True
2     True
3    False
4     True
Name: Physics, dtype: bool

对Dataframe

df.isna()

   School  Class     ID  Gender  Address  Height  Weight   Math  Physics   
0   False  False   True   False    False   False    True  False    False   
1   False  False   True   False    False   False    True  False    False   
2   False  False  False   False    False   False    True  False    False   
3   False   True   True   False    False   False   False  False     True   
4   False  False  False    True    False   False   False  False    False

对Dataframe更关注每一列有多少缺失值

df.isna().sum()

School      0
Class       4
ID          6
Gender      7
Address     0
Height      0
Weight     13
Math        5
Physics     4
dtype: int64

info也可以查看

df.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 35 entries, 0 to 34
Data columns (total 9 columns):
 #   Column   Non-Null Count  Dtype
---  ------   --------------  -----
 0   School   35 non-null     object
 1   Class    31 non-null     object
 2   ID       29 non-null     float64
 3   Gender   28 non-null     object
 4   Address  35 non-null     object
 5   Height   35 non-null     int64
 6   Weight   22 non-null     float64
 7   Math     30 non-null     float64
 8   Physics  31 non-null     object
dtypes: float64(3), int64(1), object(5)
memory usage: 2.6+ KB

查看缺失值所在的行

df[df['Physics'].isna()]

   School Class      ID Gender   Address  Height  Weight  Math Physics     
3     S_1   NaN     NaN      F  street_2     167    81.0  80.4     NaN     
8     S_1   C_2  1204.0      F  street_5     162    63.0  33.8     NaN     
13    S_1   C_3  1304.0    NaN  street_2     195    70.0  85.2     NaN     
22    S_2   C_2  2203.0      M  street_4     155    91.0  73.8     NaN

挑选出所有非缺失值列

all是全部非缺失值，any是至少有一个非缺失值

c=df[df.notna().all(1)]

   School Class      ID Gender   Address  Height  Weight  Math Physics     
5     S_1   C_2  1201.0      M  street_5     159    68.0  97.0      A-     
6     S_1   C_2  1202.0      F  street_4     176    94.0  63.5      B-     
12    S_1   C_3  1303.0      M  street_7     188    82.0  49.7       B     
17    S_2   C_1  2103.0      M  street_4     157    61.0  52.5      B-     
21    S_2   C_2  2202.0      F  street_7     194    77.0  68.5      B+     
25    S_2   C_3  2301.0      F  street_4     157    78.0  72.3      B+     
27    S_2   C_3  2303.0      F  street_7     190    99.0  65.9       C     
28    S_2   C_3  2304.0      F  street_6     164    81.0  95.5      A-     
29    S_2   C_3  2305.0      M  street_4     187    73.0  48.9       B

三种缺失符号

np.nan

不等于任何东西，包括他自己

np.nan == np.nan
False

但是在使用equal函数比较时会自动忽略np.nan

df.equals(df)
True

类型为浮点型

pd.Series([1,np.nan,3]).dtype
float64

对于bool类型的列表，如果是np.nan填充，他的值会自动变为True

pd.Series([1,np.nan,3],dtype='bool')
0    True
1    True
2    True
dtype: bool

但当修改⼀个布尔列表时，会改变列表类型而不是赋值为True

s = pd.Series([True,False],dtype='bool')
s[1]=np.nan
s

0    1.0
1    NaN
dtype: float64

在所有的表格读取后，无论列是存放什么类型的数据，默认的缺失值为np.nan类型
整型列转为浮点；而字符由于无法转化为浮点型，归并为object类型（‘O’）原来是浮点型的则类型不变

None

等于他自身

None == None
True

布尔值为False

pd.Series([None],dtype='bool')

0    False
dtype: bool

修改布尔列表不会改变数据类型；传入数值类型后会自动变为np.nan；在使⽤equals函数时不会被略过因下⾯的况下回False

NaT

针对时间序列的缺失值，是pandas的内置类型，完全可以看作时序版np.nan

s_time = pd.Series([pd.Timestamp('20120101'),pd.NaT])
0   2012-01-01
1          NaT
dtype: datetime64[ns]

s_time = pd.Series([pd.Timestamp('20120101'),np.nan])
0   2012-01-01
1          NaT
dtype: datetime64[ns]

Nullable类型与NA符号

解决之出现的混乱局面，统⼀缺失值处理方法

Nullable整型

首字母大写改为为Int

s_new = pd.Series([1, 2], dtype="Int64")

0    1
1    2
dtype: Int64

前面提到的三种缺失值都会被换为统⼀的NA，且不改变数据类型

s_new[1] = np.nan#None,NaT

0       1
1    <NA>
dtype: Int64

Nullable布尔

s_new = pd.Series([0, 1], dtype="boolean")
s_new[0] = np.nan
s_new

0    <NA>
1    True
dtype: boolean

string类型

区分模糊的object，本质上也是Nullable类型。

s = pd.Series(['dog','cat'],dtype='string')

0    dog
1    cat
dtype: string

同object区别在于在调用字符方法后，string类型返回的是Nullable类型，而object则会根据缺失类型和数据类型而改变。
string

s = pd.Series(["a", None, "b"], dtype="string")
s.str.count('a')

0       1
1    <NA>
2       0
dtype: Int64

object

s2 = pd.Series(["a", None, "b"], dtype="object")
s2.str.count("a")

0    1.0
1    NaN
2    0.0
dtype: float64

NA的特性

逻辑运算

逻辑运算如果依赖NA，结果就是NA；如果不依赖NA，计算结果。

pd.NA & False
False
False | pd.NA
<NA>

算术运和比较运算

两类特殊情况，其他结果都是 NA

pd.NA ** 0
1
1 ** pd.NA
1
pd.NA == pd.NA
<NA>

convert_dtypes方法

在读取数据时，将数据转化为Nullable

pd.read_csv('data/table_missing.csv').convert_dtypes().dtypes

School      string
Class       string
ID           Int64
Gender      string
Address     string
Height       Int64
Weight       Int64
Math       float64
Physics     string
dtype: object

缺失数据的运算与分组

加号与乘号规则

使用加法时，缺失值为0

s = pd.Series([2,3,np.nan,4])
s.sum()
9.0

使用乘法时，缺失值为1

s.prod()
24.0

使用累计函数时，缺失值自动略去

s.cumsum()

0    2.0
1    5.0
2    NaN
3    9.0
dtype: float64

groupby方法中的缺失值

df_g = pd.DataFrame({'one':['A','B','C','D',np.nan],'two':np.random.randn(5)})
df_g.groupby('one').groups

{'A': Int64Index([0], dtype='int64'), 'B': Int64Index([1], dtype='int64'), 
'C': Int64Index([2], dtype='int64'), 'D': Int64Index([3], dtype='int64')}

填充与剔除

fillna方法

值填充与前后向填充

df['Physics'].fillna('missing').head()

0	 A+
1	 B+
2	 B+
3	 missing
4	 A-
Name: Physics, dtype: object

前填充

df['Physics'].fillna(method='ffill').head()

0    A+
1    B+
2    B+
3    B+
4    A-
Name: Physics, dtype: object

后填充

0    A+
1    B+
2    B+
3    A-
4    A-
Name: Physics, dtype: object

填充中的对齐特性

df_f = pd.DataFrame({'A':[1,3,np.nan],'B':[2,4,np.nan],'C':[3,5,np.nan]})
df_f.fillna(df_f.mean())

     A    B    C
0  1.0  2.0  3.0
1  3.0  4.0  5.0
2  2.0  3.0  4.0

dropna方法

df_d = pd.DataFrame({'A':[np.nan,np.nan,np.nan],'B':[np.nan,3,2],'C':[3,2,1]})

axis参数

df_d.dropna(axis=0)

Empty DataFrame
Columns: [A, B, C]
Index: []

df_d.dropna(axis=1)

   C
0  3
1  2
2  1

how参数

可选all或者any表示全为缺失去除和存在缺失去除

df_d.dropna(axis=1,how='all')

     B  C
0  NaN  3
1  3.0  2
2  2.0  1

subset参数

在某⼀组列范围中搜索缺失值）

df_d.dropna(axis=0,subset=['B','C'])

    A    B  C
1 NaN  3.0  2
2 NaN  2.0  1

四、插值（interpolation）

线性插值

索引无关的线性插值

s = pd.Series([1,10,15,-5,-2,np.nan,np.nan,28])
s.interpolate().plot()
show()

在这里插入图片描述

s.index = np.sort(np.random.randint(50,300,8))
s.interpolate().plot()

在这里插入图片描述

索引相关的线性插值

s.interpolate(method='index').plot()
show()

在这里插入图片描述

interpolate中的限制参数

limit

表示最多插入多少个

s = pd.Series([1,np.nan,np.nan,np.nan,5])
s.interpolate(limit=2)

0    1.0
1    2.0
2    3.0
3    NaN
4    5.0
dtype: float64

limit_direction

表示插值方向可选，forward,backward,both默认前向

s = pd.Series([np.nan,np.nan,1,np.nan,np.nan,np.nan,5,np.nan,np.nan,])
s.interpolate(limit_direction='backward')

0    1.0
1    1.0
2    1.0
3    2.0
4    3.0
5    4.0
6    5.0
7    NaN
8    NaN
dtype: float64

limit_area

表示插值区域，可选inside,outside默认None

s = pd.Series([np.nan,np.nan,1,np.nan,np.nan,np.nan,5,np.nan,np.nan,])
s.interpolate(limit_area='inside')```

```python
0    NaN
1    NaN
2    1.0
3    2.0
4    3.0
5    4.0
6    5.0
7    NaN
8    NaN
dtype: float64

五、练习

在这里插入图片描述

df = pd.read_csv('data/Missing_data_one.csv')
df[df['C'].isna()]

          A      B   C
1   not_NaN  0.700 NaN
5   not_NaN  0.972 NaN
11  not_NaN  0.736 NaN
19  not_NaN  0.684 NaN
21  not_NaN  0.913 NaN

min_b = df['B'].min()
df['A'] = pd.Series(list(zip(df['A'].values
 ,df['B'].values))).apply(lambda x:x[0] if np.random.rand()>0.25*x[1]/min_b else np.nan)

print(df.head())

         A      B     C
0      NaN  0.922     4
1      NaN  0.700  <NA>
2  not_NaN  0.503     8
3  not_NaN  0.938     4
4      NaN  0.952    10
陈述c
关注
Pandas基础｜缺失数据︱Python学习笔记
PenguinAsHeathen
06-23 296
第6章 缺失数据 在接下来的两章中，会接触到数据预处理中比较麻烦的类型，即缺失数据和文本数据（尤其是混杂型文本） Pandas在步入1.0后，对数据类型也做出了新的尝试，尤其是Nullable类型和String类型，了解这些可能在未来成为主流的新特性是必要的 import pandas as pd import numpy as np df = pd.read_csv('data/table_missing.csv') df.head() School
学习笔记 | Ch05 Pandas数据清洗 —— 缺失值、重复值、异常值
大虎牙的博客
03-08 704
第5章 数据清洗与整理 pandas数据清洗：学会常见的数据清洗方法。 数据合并：学会多源数据的合并和连接。 数据重塑：针对层次化索引，学会stack和unstack的使用。 字符串处理：学会DataFrame中字符串函数的使用。 5.1 数据清洗 缺失值的处理、重复数据的处理及如何替代值等具体操作。 5.1.1 处理缺失值 1. 侦查缺失值 通过isnull和notnull方法，可以返...
Python-pandas的fillna()方法-填充空值
热门推荐
qq_17753903的博客
05-06 19万+
0.摘要 pandas中fillna()方法，能够使用指定的方法填充NA/NaN值。 1.函数详解 函数形式：fillna(value=None, method=None, axis=None, inplace=False, limit=None, downcast=None, **kwargs) 参数： value：用于填充的空值的值。 method：{'backfill',...
【机器学习杂烩篇】pandas fillna()函数详解
羽化成蝶
02-17 9873
inplace参数的取值：True、False True：直接修改原对象 False：创建一个副本，修改副本，原对象不变（缺省默认） method参数的取值 ： {‘pad’, ‘ffill’,‘backfill’, ‘bfill’, None}, default None pad/ffill：用前一个...
Pandas数据分析实战（1）——探索Chipotle快餐数据
zxxxlh123的博客
04-07 6217
Python在数据处理和准备一直做得很好，但在数据分析和建模方面就差一些。pandas帮助填 补了这一空白，使您能够在Python中执行整个数据分析工作流程，而不必切换到更特定于领域的语 言，如R。pandas是 Python 的核心数据分析支持库，提供了快速、灵活、明确的数据结构，旨在简单、直观地处理关系型、标记型数据。pandas是Python进行数据分析的必备高级工具。 pandas的主要数据结构是 Series(一维数据)与 DataFrame (二维数据)，这两种数据结构足以处理 金融、统计、社会
python学习——缺失值、重复值处理及替换
最新发布
小伟的博客
04-18 3820
主要介绍缺失值查看、删除、填充，重复值查看、删除，以及按照索引或者值对dataframe进行排序
pandas模块学习第三篇——缺失值处理
qq_41895704的博客
09-27 222
1.缺失值处理。 inplace参数为True则取代当前df，否则返回一个执行函数的df的复制。 2.但是nan填充值具体是什么呢，可以根据现有的数据经过计算来选择，更符合当前数据的规律。 iloc，即index locate 用index索引进行定位，所以参数是整型，如：df.iloc[10:20, 3:5] loc，则可以使用column名和inde...
pandas打卡第六章缺失数据的处理
qq_40791906的博客
06-23 1820
第6章 缺失数据的处理 在接下来的两章中，会接触到数据预处理中比较麻烦的类型，即缺失数据和文本数据（尤其是混杂型文本） Pandas在步入1.0后，对数据类型也做出了新的尝试，尤其是Nullable类型和String类型，了解这些可能在未来成为主流的新特性是必要的 import pandas as pd import numpy as np df = pd.read_csv('./table_missing.csv') df.head()#观察数据 Scho
pandas入门（7）——数据清洗
Annaaphq的博客
08-05 1851
数据清洗
Pandas数据分析④——数据规整2（数据拼接/透视)
cindy407的博客
06-06 1897
数据规整是在数据清洗完毕后，将其调整成适合分析的结构，为后续的深入分析作准备，主要分为以下几类： 索引和列名调整： 设定新索引，筛选想要的列，更改列名 数据排序：根据索引或列进行排序 数据格式调整：更改数据类型，更改数据内容（去除空格标点符号/截取/替换/统一数据单位等），增加用于分析的辅助列 数据拼接：行堆叠和列拼接 数据透视：行或列维度转换 上一篇介绍前3种，本篇介绍后2种 一、数据拼接 1、...
Pandas之Fillna填充缺失数据的方法
09-19
主要介绍了Pandas之Fillna填充缺失数据的方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
序列数据缺失值插补（线性插值）
weixin_42155937的博客
11-19 1万+
本文以 2018年 MOD09A01 地表反射率数据计算的 8天合成 46期 NDVI 数据为基础（已完成去云处理，有云时段的数据已赋值为 NaN，部分数据做了微调，以符合本文的内容），选取 一个样点（样点经度：123°4′0.87″，纬度：42°56′45.75″），完成时序有云数据（缺失值）的插补。
Python数据分析实战-Pandas
12-02
       Pandas包是基于Python平台的数据管理利器，已经成为了Python进行数据分析和挖掘时的数据基础平台和事实上的工业标准，掌握其使用方法，是使用Python进行数据分析和数据挖掘的必备条件。       本课程通过讲解Pandas基础知识、DataFrame核心分析方法，以一系列实操案例使你快速掌握数据获取，数据清洗与整理，数据分析        pandas是在python最直接最流行的数据处理框架。可以这么说，如果你不会使用pandas，那你就谈不上会用python做数据分析。所以，pandas的重要性是不言而喻的，不管是想做简单的做数据分析和预测，还是想做高端的机器学习，深度学习，我们都必须学习pandas。 这门课程目标是，高效快速的让大家在最短的时间内掌握好pandas这个在python数据分析中不可缺少的数据分析框架。 
pandas fillna_【数据分析工具】一文学完pandas所有技巧（一）
weixin_39584571的博客
11-27 247
上篇文章介绍了pandas的数据结构。趁热打铁，接下来几篇教程，我们会利用pandas对真实的数据集进行探索。此次实验数据下载地址：数据集。这篇文章主要要掌握的知识点：外部数据的导入熟悉数据集的骚操作1 外部数据的导入只有获取数据源，才能进行分析，所以导入数据是数据分析必不可少的一步。常用pandas中read_X方法，这里的X表示导入数据的格式，比如xlsx、csv、txt、sql等类型，本文以...
Pandas学习笔记（六）—— Pandas数据缺失
qq_43300880的博客
05-28 679
Pandas 是 Python 的核心数据分析支持库，提供了快速、灵活、明确的数据结构，旨在简单直观地处理关系型、标记型数据。Pandas 的目标是成为 Python 数据分析实践与实战的必备高级工具，其长远目标是成为最强大、最灵活、可以支持任何语言的开源数据分析工具。经过多年不懈的努力，Pandas 离这个目标已经越来越近了。
pandas数据预处理---缺失值处理、重复数据处理、更改索引、行列删除
FGH333xwy的博客
11-29 3335
常见的不规整数据主要有缺失数据、重复数据、异常数据几种，在开始正式的数据分析之前，我们需要先把这些不太规整的数据处理掉。本篇博文针对不同类型的数据，调用不同pandas内置函数进行处理，infor查看缺失值、isnull与notnull来判断缺失值、dropna删除缺失值、fillna填充缺失值、replace替换缺失值、interpolate插入、drop_duplicates方法去重、set_index、reindex、rename、reset_index重建索引，del 和 drop进行行列删除
Python-pandas{缺失值处理}
樊鴻燁的博客
07-21 889
缺失值处理缺失值寻找空值数据统计空缺值丢弃缺失值填充缺失值固定值填充   博客文章内需要的文件： 文件   大家在学习这一部分后，下载文件后，先将文件导入 import numpy as np import pandas as pd grade = pd.read_csv('student_grade_empty.txt',sep='\t') grade 缺失值  什么是缺失值   在了解缺失值（也叫控制）如何处理之前，首先要知道的就是什么是缺失值？直观上理解，缺失值表示的是“缺失的数据”。  
AttributeError: 'DataFrame' object has no attribute 'convert_dtypes'
博客
03-23 5592
AttributeError: ‘DataFrame’ object has no attribute ‘convert_dtypes’ 官网描述 convert_dtypes方法在pandas version1.0.0中才存在 升级pandas python3.6.0版本 更新pandas结果如下： 出现这种情况是由于pandas 1.0.0版本只支持python3.6以上版本（不包含p...
数据分析第二回-数据清洗与特征处理
qq_45019698的博客
03-17 1206
数据清洗与特征处理 本文记录2022年3月组队学习-动手学数据分析教程知识点,采用kaggle上泰坦尼克的任务，实战数据分析全流程。 教程内容开源地址: github: https://github.com/datawhalechina/hands-on-data-analysis gitee:https://gitee.com/datawhalechina/hands-on-data-analysis 接下来要重点研究一下数据清洗，一般我们拿到数据的时候，有很多错误的情况。所谓的错误，就是数据中有缺失值，
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值