python统计缺失值个数_python进阶-15.pandas-汇总计算，描述统计-唯一值，值计算-缺失值处理...

最新推荐文章于 2023-01-07 16:55:03 发布
最新推荐文章于 2023-01-07 16:55:03 发布
阅读量1.2k 收藏
点赞数
文章标签： python统计缺失值个数

3.7 汇总计算 与 描述统计

pandas 的 Series 和 DataFrame 自带

xxx.sum()

xxx.mean()

xxx.max()

xxx.add()

等等等 方法

df1=DataFrame(

[

[3,2,np.nan],

[2,7,-5],

[5,np.nan,np.nan],

[7,6,4]

]

)

df1

012

032.0NaN

127.0-5.0

25NaNNaN

376.04.0

df1.sum()

0 17.0

1 15.0

2 -1.0

dtype: float64

默认参数 axis=0

df1.sum(axis=0)

0 17.0

1 15.0

2 -1.0

dtype: float64

axis=0 还可以携程 axis=‘index’

df1.sum(axis='index')

0 17.0

1 15.0

2 -1.0

dtype: float64

df1.sum(axis='columns')

0 5.0

1 4.0

2 5.0

3 17.0

dtype: float64

#平均

print(df1)

df1.mean(skipna=True)

0 1 2

0 3 2.0 NaN

1 2 7.0 -5.0

2 5 NaN NaN

3 7 6.0 4.0

0 4.25

1 5.00

2 -0.50

dtype: float64

让 nan 参与计算

df1.mean(skipna=False)

0 4.25

1 NaN

2 NaN

dtype: float64

而很多时候， 需要处理nan，然后再计算

df1.fillna(0).mean(0)

0 4.25

1 3.75

2 -0.25

dtype: float64

累计求和

df2=DataFrame(np.random.randint(1,10,(4,6)),columns=list('ABCDEF'))

df2

ABCDEF

0993881

1841934

2812758

3656449

#普通求和

df2.sum(axis=1)

0 38

1 29

2 31

3 34

dtype: int64

累计求和

df2.cumsum(axis=1)

ABCDEF

091821293738

181213222529

28911182331

361117212534

最大值

print(df2)

df2.cummax(axis=1)

A B C D E F

0 9 9 3 8 8 1

1 8 4 1 9 3 4

2 8 1 2 7 5 8

3 6 5 6 4 4 9

ABCDEF

0999999

1888999

2888888

3666669

描述统计

df3=DataFrame(

np.random.randint(1,100,[10,4]),

columns=list('ABCD'))

df3

ABCD

03343081

198509426

266853635

328108990

47817649

51833961

63016559

712755983

841491322

974374093

xxx.describe() 显示一堆信息

df3.describe()

ABCD

count10.00000010.00000010.00000010.000000

mean46.10000041.00000053.10000054.900000

std31.38807332.61219926.51812830.996236

min1.0000001.00000013.0000009.000000

25%28.50000011.50000036.75000028.250000

50%37.00000043.00000047.50000055.000000

75%72.00000068.75000071.75000082.500000

max98.00000085.00000094.00000093.000000

df3.A.describe()

count 10.000000

mean 46.100000

std 31.388073

min 1.000000

25% 28.500000

50% 37.000000

75% 72.000000

max 98.000000

Name: A, dtype: float64

如果不是纯数字的 Series

s1 = Series(

[np.random.choice('西瓜,橘子,苹果,木瓜,双星,77'.split(','))for i in range(60)]

)

s1

0 苹果

1 77

2 木瓜

3 双星

4 西瓜

5 木瓜

.....

55 77

56 苹果

57 橘子

58 苹果

59 橘子

dtype: object

s1.describe()

count 60

unique 6

top 双星

freq 13

dtype: object

3.8 唯一值，值计数，成员资格

Series.unique() 提取唯一值

注意：DataFrame 没有

得到一个数组

s1.unique()

array(['苹果', '77', '木瓜', '双星', '西瓜', '橘子'], dtype=object)

df2

ABCDEF

0993881

1841934

2812758

3656449

应用一个唯一值提取的函数

df2.apply(Series.unique)

A [9, 8, 6]

B [9, 4, 1, 5]

C [3, 1, 2, 6]

D [8, 9, 7, 4]

E [8, 3, 5, 4]

F [1, 4, 8, 9]

dtype: object

df2.apply(Series.unique,axis=1)

0 [9, 3, 8, 1]

1 [8, 4, 1, 9, 3]

2 [8, 1, 2, 7, 5]

3 [6, 5, 4, 9]

dtype: object

value count

s1.value_counts()

​

双星 13

西瓜 12

橘子 10

苹果 10

77 8

木瓜 7

dtype: int64

value count

s1.value_counts(normalize=True)

双星 0.216667

西瓜 0.200000

橘子 0.166667

苹果 0.166667

77 0.133333

木瓜 0.116667

dtype: float64

s1.value_counts().plot(kind='bar')

!!! Series.value_counts()用于统计每个值的数量，默认按照数量的降序排序

value_counts(self, normalize=False, sort=True, ascending=False,

bins=None, dropna=True)

参数：

normaliz:bool,默认 False.如果是True，则返回的是 包含唯一值的相关频率

sort:bool . 默认是True 是否按照值排序

ascending：bool 默认FALSE 降序

bins： 整数，或区间列表 分组数据，为pd.cut() 提供便利

dropna: bool 默认为True , 默认丢掉 nan

s1.value_counts()

双星 13

西瓜 12

橘子 10

苹果 10

77 8

木瓜 7

dtype: int64

显示频率

s1.value_counts(normalize=True)

双星 0.216667

西瓜 0.200000

橘子 0.166667

苹果 0.166667

77 0.133333

木瓜 0.116667

dtype: float64

#sort 是否按照值排序

s1.value_counts(sort=False)

木瓜 7

77 8

西瓜 12

双星 13

苹果 10

橘子 10

dtype: int64

bins 参数 ， 用在数字数据上，做分区间统计

假设，统计 100 个人 的年龄。想统计不同年龄区间有多少人？

ages= Series(np.random.randint(1,101,100))

ages

0 20

1 9

2 11

3 65

4 11

..

95 67

96 15

97 24

98 35

99 64

Length: 100, dtype: int32

当bins=整数，会自动找出最小值与最大值 。 每个区间的长度为 极差/bins

ages.value_counts(bins=4)

(51.0, 75.5] 29

(1.901, 26.5] 26

(26.5, 51.0] 25

(75.5, 100.0] 20

dtype: int64

当 bins=[a,b,c,d] 会统计 a-b，b-c，c-d 区间的人数

ages.value_counts(bins=[1,18,40,60,100])

(60.0, 100.0] 40

(40.0, 60.0] 20

(18.0, 40.0] 20

(0.999, 18.0] 20

dtype: int64

可以不包含 所有数据

ages.value_counts(normalize=True,bins=[18,40,60])

(17.999, 40.0] 0.21

(40.0, 60.0] 0.20

dtype: float64

ages.value_counts(normalize=True,bins=[18,40,60]).apply(lambda x :f'{x*100}%')

(17.999, 40.0] 21.0%

(40.0, 60.0] 20.0%

dtype: object

!!! 还有一个值统计函数 pandas.value_count()

pandas.value_count(object,normalize=False, sort=True,

ascending=False, bins=None, dropna=True)

pd.value_counts(ages)

4 4

27 4

20 3

74 3

6 3

..

58 1

99 1

52 1

51 1

2 1

Length: 65, dtype: int64

pd.value_counts(s1)

双星 13

西瓜 12

橘子 10

苹果 10

77 8

木瓜 7

dtype: int64

创建df

df4= DataFrame(

np.random.randint(1,6,(4,6)),

index=list('ABCD'),

columns=list('甲乙丙丁戊已')

)

df4

甲乙丙丁戊已

A152423

B511234

C213524

D151343

df4.value_counts()

甲 乙 丙 丁 戊 已

5 1 1 2 3 4 1

2 1 3 5 2 4 1

1 5 2 4 2 3 1

1 3 4 3 1

dtype: int64

df4.apply(pd.value_counts,axis=0)

甲乙丙丁戊已

12.02.02.0NaNNaNNaN

21.0NaN1.01.02.0NaN

3NaNNaN1.01.01.02.0

4NaNNaNNaN1.01.02.0

51.02.0NaN1.0NaNNaN

df4.apply(pd.value_counts,axis=1)

12345

A1.02.01.01.01.0

B2.01.01.01.01.0

C1.02.01.01.01.0

D2.0NaN2.01.01.0

成员资格(注意：巧的是本人在这个地方运行刚好没有出现2和4)

object.isin([xx]) 判断xx是否在object中

s2=Series(np.random.randint(1,6,10))

s2

0 1

1 1

2 1

3 3

4 3

5 1

6 1

7 5

8 5

9 5

dtype: int32

#判断后得到bool 序列

condition=s2.isin([2,4])

condition

0 False

1 False

2 False

3 False

4 False

5 False

6 False

7 False

8 False

9 False

dtype: bool

s2[condition]

Series([], dtype: int32)

s2.isin([2,4]).apply(lambda x:not x)

0 True

1 True

2 True

3 True

4 True

5 True

6 True

7 True

8 True

9 True

dtype: bool

读取 s2 , 2, 4 以外的数

应用匿名函数 对每个值 进行 not 操作

s2[s2.isin([2,4]).apply(lambda x:not x)]

0 1

1 1

2 1

3 3

4 3

5 1

6 1

7 5

8 5

9 5

dtype: int32

~s2.isin([2,4])

0 True

1 True

2 True

3 True

4 True

5 True

6 True

7 True

8 True

9 True

dtype: bool

s2.isin([2,4])^True

0 True

1 True

2 True

3 True

4 True

5 True

6 True

7 True

8 True

9 True

dtype: bool

3.9 缺失值处理

dropna(axis=0,how =‘any’,inplace=False) 默认只要有一个nan就 丢弃数据

how=‘all’ 表示 整行或者整列全部都是nan才丢掉

fillna() 填充值

isnull() 返回 是 nan 的布尔序列

notnull() 返回不是nan 的布尔序列

df1

012

032.0NaN

127.0-5.0

25NaNNaN

376.04.0

df1.dropna()

012

127.0-5.0

376.04.0

df1.dropna(axis=1)

0

03

12

25

37

df1.dropna(how='all')

012

032.0NaN

127.0-5.0

25NaNNaN

376.04.0

df1[1]

0 2.0

1 7.0

2 NaN

3 6.0

Name: 1, dtype: float64

df1[1].isnull()

0 False

1 False

2 True

3 False

Name: 1, dtype: bool

df1[1].notnull()

0 True

1 True

2 False

3 True

Name: 1, dtype: bool

df1[1].fillna(0)

0 2.0

1 7.0

2 0.0

3 6.0

Name: 1, dtype: float64

原文链接:https://blog.csdn.net/weixin_47440383/article/details/108042412

weixin_39681058
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
R语言计算dataframe中指定数据列的值为缺失值的样本个数（行的个数）
sdgfbhgfj的博客
04-29 850
R语言计算dataframe中指定数据列的值为缺失值的样本个数（行的个数）
python数据分析-pandas-缺失值统计
weixin_46048865的博客
11-16 930
python pandas缺失值相关函数
Python 查看df数据缺失情况
少年一贯快马扬帆，道阻且长不转弯； 要盛大，要绚烂，要哗然； 要用理想的泰坦尼克，去撞现实的冰川； 要当烧赤壁的风，而非借鉴草船； 要为了一片海，就肯翻万山。
04-26 689
Pytho 查看df数据缺失情况 参考：https://blog.csdn.net/wymmyg/article/details/105881401?utm_term=python%E6%9F%A5%E7%9C%8B%E6%95%B0%E6%8D%AE%E7%9A%84%E7%BC%BA%E5%A4%B1%E6%83%85%E5%86%B5&utm_medium=distribute.pc_aggpage_search_result.none-task-blog-2~all~sobaiduweb~
Python数据预处理：缺失值统计个数、判断是否、过滤与删除、还有Nan的计算、填充、插入、重复数据、异常值
程志伟的博客
02-14 1528
关注微信号：小程在线 关注CSDN博客：程志伟的博客 import numpy as np import pandas as pd pd.set_option("display.max_rows",10) pd.set_option("display.max_columns",10) #### 1.1统计数据缺失值个数 #### eu2012 = pd.read_csv("H:/0d...
数据清洗——Pandas统计缺失值数量、查看数据信息、数据总体概述
热门推荐
cc的博客
02-15 1万+
进行数据挖掘的时候，在读取数据后，通常要对所分析建模的数据有一个总体了解。因此需要对数据进行缺失值统计、查看数据分布、查看数据表中每一列的信息等等。 这些在pandas中都有现成的工具，直接调用函数，即可对我们的数据进行一个大致的了解。 这里我们使用titanic生存者数据，进行演示，数据如下： 查看数据信息——titanic.info() titanic.info()...
Python科学计算与数据处理-pandas.ppt
05-07
Python科学计算与数据处理-pandas Python 是一种流行的高级编程语言，广泛应用于科学计算、数据处理和分析领域。pandas 是 Python 中的一个核心库，提供了高效的数据结构和操作工具，可以帮助用户快速高效地进行...
数据处理Pandas-空值，0值等缺失值检测-Python实例源码.zip
12-13
数据处理Pandas-空值，0值等缺失值检测-Python实例源码.zip
Python3.5 Pandas模块缺失值处理和层次索引实例详解
09-19
主要介绍了Python3.5 Pandas模块缺失值处理和层次索引,结合实例形式详细分析了Python3.5 Pandas模块缺失值处理和层次索引的原理、处理方法及相关操作注意事项,需要的朋友可以参考下
Python Pandas对缺失值的处理方法
09-18
Python的Pandas库提供了一系列高效的方法来处理数据集中的缺失值。Pandas将缺失值通常表示为`NaN`（Not a Number）。以下是一些常用的Pandas方法来处理缺失值： 1. **isnull() 和 notnull()**： 这两个函数用于...
Python Pandas找到缺失值的位置方法
09-20
下面小编就为大家分享一篇Python Pandas找到缺失值的位置方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Pandas中汇总统计、处理缺失值、层次化索引超详细介绍！（附实例）
12-21
阅读提示 本文将提到Pandas汇总统计和计算方法、处理缺失值操作、层次化索引等内容 目录阅读提示一、pandas汇总统计和计算1、sum()和cumsum()方法2、idxmax() 方法3、unique() 方法4、value_counts() 方法5、isin() 方法二、pandas处理缺失数据1、过滤缺失数据对于Series对于Dataframe2、对缺失值进行填充三、pandas层次化索引层次化索引1、根据索引选择数据子集2、重排分级顺序根据索引交换: swaplevel()根据索引排序：sort_index()根据级别汇总统计 原创文章
python统计缺失值个数_Python数据分析之缺失值处理（一）
weixin_39609620的博客
12-03 2338
◆◆◆ ◆◆前言数据缺失值的处理，在数据分析前期，即数据处理过程中占着重要的地位，在数据分析面试中被问到的概率也是极大的。一般情况下，我们对待缺失值有三种处理方式：(1)源数据补录，即通过再次采样或者询问等方式将缺失内容补充完整；(2)缺失值填充，即根据一定的规则将缺失值填充，可选众数、中位数等；(3)删除缺失值，即根据一定的规则将含有缺失值的行或列直接进行删除。我的会员请教了我关于缺失值...
第三章16节-Pandas运用之缺失值处理
weixin_45441862的博客
11-01 1319
缺失值首先需要实际情况定义 可以采取直接删除法 有时候需要使用替换法或者插值法 1、 统计缺失值的数量 首先读取数据 查看数据集中缺失值的情况 df.isnull() 统计每一列缺失值的数量 np.sum(df.isnull())，其参数axis默认值为0，表示按行的方向进行统计，显示的结果就是每一列的缺失值的数量 统计每一行缺失值的数量 np.sum(df.isnull(),axis = 1)，表示按列的方向进行统计，显示结果就是每一行的缺失值的数量 2、 统计每行缺失...
数据分析项目-大选献金数据分析
Colorfully_lu的博客
11-28 895
目录 需求： 1.加载数据，查看数据的基本信息 2.指定数据截取，将如下字段的数据进行提取，其他数据舍弃 3.对新数据进行总览df.info(),查看是否存在缺失数据 4.用统计学指标快速描述数值型属性的概要。df.describe() 5.空值处理。可能因为忘记填写或者保密等等原因，相关字段出现了空值，将其填充为NOT PROVIDE 6.异常值处理。将捐款金额<=0的数据删除 7.新建一列为各个候选人所在党派party 8.查看party这一列中有哪些不同的元素 9.统计p..
python统计一列有多少个缺失值
weixin_42596246的博客
01-07 1476
可以使用 pandas 库中的 isnull() 函数来统计一列中有多少个缺失值。 例如，假设你有一个名为 df 的数据帧，其中一列名为 col，你可以使用以下代码来统计 col 中有多少个缺失值： import pandas as pd # 统计 col 列中缺失值的数量 num_missing = df['col'].isnull().sum() 这样就可以得到 col 列中缺失值的数量。...
NumPy 数据类型对象（dtype）的构造
weixin_43276033的博客
03-26 1万+
NumPy 数据类型对象是 dtype 类的实例。本文简单介绍dtype类的属性，以及dtype对象的构造方法。
Python数据分析之numpy数组全解析
weixin_30851409的博客
08-26 2458
1 什么是numpy numpy是一个在Python中做科学计算的基础库，重在数值计算，也是大部分Python科学计算库的基础库，多用于大型、多维数据上执行数值计算。 在NumPy 中，最重要的对象是称为 ndarray 的N维数组类型，它是描述相同类型的元素集合，numpy所有功能几乎都以ndarray为核心展开。ndarray 中的每个元素都是数据类型对象(dtype)的对象。n...
python表示空的代码块_pandas 空数据处理方法详解
weixin_39710561的博客
11-26 559
这篇文章主要介绍了pandas 空数据处理方法详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下方法一：直接删除1.查看行或列是否有空格（以下的df为DataFrame类型，axis=0,代表列，axis=1代表行，以下的返回值都是行或列索引加上布尔值）isnull方法查看行：df.isnull().any(axis=1)查看列：df.isnul...
深度盘点：Python 变量类型转换的 6 种方法
Python数据挖掘
05-08 1万+
大家好，今天我来给大家介绍 Python 变量类型转换的 6 种方法。梳理不易，喜欢记得点赞、收藏、关注。 【注】完整版代码、数据、技术交流，文末获取 一、变量类型及转换 对于变量的数据类型而言，Pandas除了数值型的int 和 float类型外，还有object ，category，bool，datetime类型。 另外，空值类型作为一种特殊类型，需要单独处理，这个在pandas缺失值处理一文中已详细介绍。 数据处理的过程中，经常需要将这些类型进行互相转换，下面介绍一些变量类型转换的常用方法。 1、查询
生蚝: （1）用pandas 库读取 PRSA_ data 2010.1.1-2014.12.31.csx 文件，查看前3行、后2行。 (2) 刪除列 DEWP、TEMP、PRES、cbwd、Iws、Is、Ir,并将剰余列用 pandas 数据 预处理模块将缺失值丢弃处理，导出到新的csV 文件 pm25_ data 2010.1.1-2014.12.31.csv。 (3）利用pandas 库读取新的数据集 pm25_ data 2010.1.1-2014.12.31.csv，并选择字段 pm2.5 大子300 的所有数据集，昇出力文本文件 pm25_hazardous_data_2010.1.1-2014. 12.31.txt，要求数据之间用逗号分隔，每行末尾包含换行符。 (4）读取文本文件 pm25_hazardous_ data_ 2010.1.1-2014.12.31.txt 并转存到 Excel 文件 pm25_hazardous_data_ 2010.1.1-2014.12.31.xlsx # 生蚝: （5）重新读取文本文件读取文本文件 pm25_ hazardous_ data 2010.1.1-2014.12.31.txt，分别统计出现最多的month、 day、hour， 并将 month、 day、hour 的出现频次用柱状图显示。要求包括图例、图标题，xy轴均显示刻度值，柱状图填充颜色分别为红色、绿色、蓝色；并将结果保存为 png 图片保存，分辦率为 400 dpi，png 图片命名分别为 pm25 hazardous_ month_ day hour.png。
最新发布
06-03
（2）删除列 DEWP、TEMP、PRES、cbwd、Iws、Is、Ir，并将剩余列用 pandas 数据预处理模块将缺失值丢弃处理，并导出到新的 csv 文件 pm25_ data 2010.1.1-2014.12.31.csv。 ```python data = data.drop(columns=['...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值