73_Pandas获取分位数/百分位数

最新推荐文章于 2024-06-13 14:24:28 发布
最新推荐文章于 2024-06-13 14:24:28 发布
阅读量1.4k 收藏 15
点赞数 22
分类专栏： Pandas 文章标签： pandas python 数据分析 机器学习 数据挖掘
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_18351157/article/details/136857018
版权

73_Pandas获取分位数/百分位数

使用 quantile() 方法获取 pandas 中 DataFrame 或 Series 的分位数/百分位数。

目录

  • Quantile() 的基本用法
  • 指定要获取的分位数/百分位数：参数 q
  • 指定interpolation方法：参数interpolation
    • 数据类型 dtype 的差异
  • 指定行/列：参数axis
  • 指定是否处理非数字值：参数 numeric_only
  • 用于字符串上
  • 用于日期时间
  • 用于布尔值 bool

本文示例代码的pandas版本如下。请注意，规格可能因版本而异。以下面的DataFrame为例。

import pandas as pd

print(pd.__version__)
# 1.3.5

df = pd.DataFrame({'col_1': range(11), 'col_2': [i**2 for i in range(11)]})
print(df)
#     col_1  col_2
# 0       0      0
# 1       1      1
# 2       2      4
# 3       3      9
# 4       4     16
# 5       5     25
# 6       6     36
# 7       7     49
# 8       8     64
# 9       9     81
# 10     10    100

Quantile() 的基本用法

默认情况下，DataFrame 的 quantile() 将每列的中值（1/2 分位数，第 50 个百分位数）返回为 Series。稍后将解释包含非数字列的情况。

print(df.quantile())
# col_1     5.0
# col_2    25.0
# Name: 0.5, dtype: float64

print(type(df.quantile()))
# <class 'pandas.core.series.Series'>

如果从系列中调用 quantile()，中值将作为标量值返回。

print(df['col_1'].quantile())
# 5.0

print(type(df['col_1'].quantile()))
# <class 'numpy.float64'>

元素类型根据原始数据类型和下述interpolation参数的设置而不同。

指定要获取的分位数/百分位数：参数 q

指定想要在第一个参数 q 中获得的 0.0 到 1.0 之间的分位数/百分比。

print(df.quantile(0.2))
# col_1    2.0
# col_2    4.0
# Name: 0.2, dtype: float64

列表中可以指定多种规格。在这种情况下，返回值将是一个 DataFrame。

print(df.quantile([0, 0.25, 0.5, 0.75, 1.0]))
#       col_1  col_2
# 0.00    0.0    0.0
# 0.25    2.5    6.5
# 0.50    5.0   25.0
# 0.75    7.5   56.5
# 1.00   10.0  100.0

print(type(df.quantile([0, 0.25, 0.5, 0.75, 1.0])))
# <class 'pandas.core.frame.DataFrame'>

如果指定多个Series，则返回值将为Series。

print(df['col_1'].quantile([0, 0.25, 0.5, 0.75, 1.0]))
# 0.00     0.0
# 0.25     2.5
# 0.50     5.0
# 0.75     7.5
# 1.00    10.0
# Name: col_1, dtype: float64

print(type(df['col_1'].quantile([0, 0.25, 0.5, 0.75, 1.0])))
# <class 'pandas.core.series.Series'>

指定interpolation方法：参数 interpolation

值interpolation方法由参数interpolation指定。默认值为“linear”.

print(df.quantile(0.21))
# col_1    2.1
# col_2    4.5
# Name: 0.21, dtype: float64

print(df.quantile(0.21, interpolation='linear'))
# col_1    2.1
# col_2    4.5
# Name: 0.21, dtype: float64

“lower”使用较小的值，“higher”使用较大的值，“nearest”使用最接近的值。

print(df.quantile(0.21, interpolation='lower'))
# col_1    2
# col_2    4
# Name: 0.21, dtype: int64

print(df.quantile(0.21, interpolation='higher'))
# col_1    3
# col_2    9
# Name: 0.21, dtype: int64

print(df.quantile(0.21, interpolation='nearest'))
# col_1    2
# col_2    4
# Name: 0.21, dtype: int64

“midpoint”是前一个值和后一个值之间的中间值（平均值）。

print(df.quantile(0.21, interpolation='midpoint'))
# col_1    2.5
# col_2    6.5
# Name: 0.21, dtype: float64

数据类型 dtype 的差异

默认是线性interpolation，因此如果原始数据类型dtype是整数int，则会转换为浮点数float。请注意，即使该值与原始值相同，数据类型也会改变。

print(df.quantile(0.2))
# col_1    2.0
# col_2    4.0
# Name: 0.2, dtype: float64

在“lower”、“higher”和“nearest”的情况下，按原样使用原始值，因此数据类型保持不变。

print(df.quantile(0.2, interpolation='lower'))
# col_1    2
# col_2    4
# Name: 0.2, dtype: int64

指定行/列：参数axis

默认是按列处理，但如果 axis 参数设置为 1 或 ‘columns’，则会按行处理。

print(df.quantile(axis=1))
# 0      0.0
# 1      1.0
# 2      3.0
# 3      6.0
# 4     10.0
# 5     15.0
# 6     21.0
# 7     28.0
# 8     36.0
# 9     45.0
# 10    55.0
# Name: 0.5, dtype: float64

指定是否处理非数字值：参数 numeric_only

可以使用参数 numeric_only 指定是否处理非数字列。将 numeric_only 设置为 True 将仅定位数字列，并将其设置为 False 将定位所有类型的列。 从pandas 2.0开始，numeric_only的默认值为False。在此之前确实如此。请注意，这取决于版本。

用于字符串上

以添加了字符串列的 DataFrame 为例。

df_str = df.copy()
df_str['col_3'] = list('abcdefghijk')
print(df_str)
#     col_1  col_2 col_3
# 0       0      0     a
# 1       1      1     b
# 2       2      4     c
# 3       3      9     d
# 4       4     16     e
# 5       5     25     f
# 6       6     36     g
# 7       7     49     h
# 8       8     64     i
# 9       9     81     j
# 10     10    100     k

print(df_str.dtypes)
# col_1     int64
# col_2     int64
# col_3    object
# dtype: object

如果参数 numeric_only 设置为 True，则仅以数字列为目标，并且排除字符串列。

print(df_str.quantile(numeric_only=True))
# col_1     5.0
# col_2    25.0
# Name: 0.5, dtype: float64

当以参数 numeric_only 设置为 False（从 pandas 2.0 开始默认）的字符串列为目标时，如果参数interpolation是“线性”（默认）或“中点”，则会发生错误。对于“lower”、“higher”和“nearest”，该值将是前一个值或根据字典顺序的前一个值。

# print(df_str.quantile())
# TypeError: unsupported operand type(s) for -: 'str' and 'str'

# print(df_str.quantile(interpolation='midpoint'))
# TypeError: unsupported operand type(s) for -: 'str' and 'str'

print(df_str.quantile([0.2, 0.21, 0.3], interpolation='lower'))
#       col_1  col_2 col_3
# 0.20      2      4     c
# 0.21      2      4     c
# 0.30      3      9     d

print(df_str.quantile([0.2, 0.21, 0.3], interpolation='higher'))
#       col_1  col_2 col_3
# 0.20      2      4     c
# 0.21      3      9     d
# 0.30      3      9     d

print(df_str.quantile([0.2, 0.21, 0.3], interpolation='nearest'))
#       col_1  col_2 col_3
# 0.20      2      4     c
# 0.21      2      4     c
# 0.30      3      9     d

用于日期时间

以添加了日期时间列的 DataFrame 为例。

df_dt = df.copy()
df_dt['col_3'] = pd.date_range('2023-01-01', '2023-01-11')
print(df_dt)
#     col_1  col_2      col_3
# 0       0      0 2023-01-01
# 1       1      1 2023-01-02
# 2       2      4 2023-01-03
# 3       3      9 2023-01-04
# 4       4     16 2023-01-05
# 5       5     25 2023-01-06
# 6       6     36 2023-01-07
# 7       7     49 2023-01-08
# 8       8     64 2023-01-09
# 9       9     81 2023-01-10
# 10     10    100 2023-01-11

print(df_dt.dtypes)
# col_1             int64
# col_2             int64
# col_3    datetime64[ns]
# dtype: object

如果参数 numeric_only 设置为 True，则仅将数字列作为目标，并且将排除日期和时间列。

print(df_dt.quantile(numeric_only=True))
# col_1     5.0
# col_2    25.0
# Name: 0.5, dtype: float64

即使interpolation参数是“linear”（默认）或“midpoint”，日期和时间列也会正确interpolation。当然，“lower”、“higher”和“nearest”也是可以接受的。

print(df_dt.quantile([0.2, 0.21, 0.3]))
#       col_1  col_2               col_3
# 0.20    2.0    4.0 2023-01-03 00:00:00
# 0.21    2.1    4.5 2023-01-03 02:24:00
# 0.30    3.0    9.0 2023-01-04 00:00:00

print(df_dt.quantile([0.2, 0.21, 0.3], interpolation='midpoint'))
#       col_1  col_2               col_3
# 0.20    2.0    4.0 2023-01-03 00:00:00
# 0.21    2.5    6.5 2023-01-03 12:00:00
# 0.30    3.0    9.0 2023-01-04 00:00:00

print(df_dt.quantile([0.2, 0.21, 0.3], interpolation='lower'))
#       col_1  col_2      col_3
# 0.20      2      4 2023-01-03
# 0.21      2      4 2023-01-03
# 0.30      3      9 2023-01-04

print(df_dt.quantile([0.2, 0.21, 0.3], interpolation='higher'))
#       col_1  col_2      col_3
# 0.20      2      4 2023-01-03
# 0.21      3      9 2023-01-04
# 0.30      3      9 2023-01-04

print(df_dt.quantile([0.2, 0.21, 0.3], interpolation='nearest'))
#       col_1  col_2      col_3
# 0.20      2      4 2023-01-03
# 0.21      2      4 2023-01-03
# 0.30      3      9 2023-01-04

用于布尔值 bool

以添加了一列 boolean 布尔值的 DataFrame 为例。

df_bool = df.copy()
df_bool['col_3'] = [True, False, True, False, True, False, True, False, True, False, True]
print(df_bool)
#     col_1  col_2  col_3
# 0       0      0   True
# 1       1      1  False
# 2       2      4   True
# 3       3      9  False
# 4       4     16   True
# 5       5     25  False
# 6       6     36   True
# 7       7     49  False
# 8       8     64   True
# 9       9     81  False
# 10     10    100   True

print(df_bool.dtypes)
# col_1    int64
# col_2    int64
# col_3     bool
# dtype: object

可以使用 select_dtypes() 排除 bool 列，也可以使用 astype() 将其转换为整数 int。

print(df_bool.select_dtypes(exclude=bool))
#     col_1  col_2
# 0       0      0
# 1       1      1
# 2       2      4
# 3       3      9
# 4       4     16
# 5       5     25
# 6       6     36
# 7       7     49
# 8       8     64
# 9       9     81
# 10     10    100

print(df_bool.select_dtypes(exclude=bool).quantile())
# col_1     5.0
# col_2    25.0
# Name: 0.5, dtype: float64

print(df_bool.astype({'col_3': int}))
#     col_1  col_2  col_3
# 0       0      0      1
# 1       1      1      0
# 2       2      4      1
# 3       3      9      0
# 4       4     16      1
# 5       5     25      0
# 6       6     36      1
# 7       7     49      0
# 8       8     64      1
# 9       9     81      0
# 10     10    100      1

print(df_bool.astype({'col_3': int}).quantile())
# col_1     5.0
# col_2    25.0
# col_3     1.0
# Name: 0.5, dtype: float64
饺子大人
关注
  • 22
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
pandas中quantile() 函数的应用
2301_81245389的博客
04-01 809
函数计算了整个 DataFrame 的中位数（50% 分位数）、每列的四分位数（25% 分位数和 75% 分位数）以及每行的分位数（20% 分位数和 80% 分位数）。可以通过指定百分位数来计算不同分位数的值，也可以通过指定。函数用于计算 DataFrame 或 Series 中数值型数据的分位数。分位数是将数据分为等分的数值点，常用的分位数包括中位数（50% 分位数）、四分位数（25% 分位数和 75% 分位数）等。参数来沿着行或列进行计算，默认情况下是对列进行计算分位数。下面是一个示例，说明如何使用。
百分位数Percentiles 理解
guangyacyb的博客
03-29 2212
pandas库有计算百分位数的功能，官网示例如下： 理解后讲下这里的计算过程： 0.1位置 有4个数，所以要取的位置应该是：1 + ( 4 - 1) * 0.1 = 1.3，就是排在第1.3位的值 a = [1, 2, 3, 4]，取第1.3个数，应该基于第1个数值1 来取，所以得到的应该是：1 + （2 - 1）* （1.3 - 1） = 1.3 b = [1, 10, 100,...
【Pandas】深入解析pandas中的统计汇总函数`quantile()`
最新发布
qq_38614074的博客
06-13 404
Pandas中的quantile()函数是一个强大的工具，可以帮助我们快速计算数据集的分位数并了解数据的分布情况。通过深入了解其使用方法和可能遇到的问题及解决办法，我们可以更好地利用这个函数进行数据分析和处理。
pandas的quantile函数
DDxuexi的博客
04-22 1万+
pandas的quantile函数 quantile : 分位数的意思 一般为 0.25 0.5 0.75分位数 中数值的计算方法 设分位数为p : 分位数的值 = 1 + (n - 1) * p, n为数值的个数 看下面示例的计算 # quantile函数 DataFrame.quantile(q=0.5, axis=0, numeric_only=True, interpolation=’linear’) 参数意义 q : 数字或者是类列表，范围只能在0-1之间，默认是0.5，即中位数-
python--pandas 分位数
Blankit1的博客
06-20 2万+
pandas 分位数 df.quantile(q=0.75) 计算分位数：pos=1+(n−1)∗ppos = 1+(n-1)*ppos=1+(n−1)∗p = integer + float（整数部分 + 小数部分） ans = df[integer-1] + float * (df[integer - df[integer - 1]) 举个例子： 定义一个DataFrame df ...
python 分位数计算代码_Python Pandas-手动分位数计算
weixin_39601511的博客
12-09 180
I am trying to calculate quantile for a column values manually, but not able to find the correct quantile value manually using the formula when compared to result output from Pandas.I looked around fo...
pandas中计算分位数的方法describe，quantile，以及sql中计算分位数的方法percentile_approx,percent_rank() over()
dair6的博客
11-16 2万+
1.pandas中计算分位数的方法describe，quantile 准备一张表 def test(): df = pd.DataFrame({'a':[1,2,3],'b':[4,5,6],'c':['d','e','f']}) print(df) 表结构如下： （1）p分位数原理和计算过程 例：a =[20,10,30]，求这组数的四分之一，二分之一，四分之三分位数，即p=0.25,p=0.5,p=0.75的情况 1.从小到大排序[10,20,30]，长度n = len(a) = 3
Pandas.DataFrame.quantile() 分位数 详解 含代码 含测试数据集 随Pandas版本持续更新
数象限
01-31 2816
本文基于 pandas2.2.0 编写。随着pandas的stable版本更迭，本文持续更新，不断完善补充。
使用python 计算百分位数实现数据分箱代码
12-20
在Python中，我们可以使用`numpy`和`pandas`库来轻松计算百分位数。 在给定的代码中，首先引入了`pandas`、`numpy`和`random`库。接着创建了一个DataFrame `t`，其中包含一列名为'l'的随机整数，范围在0到999之间。...
分位数回归,分位数回归模型,Python源码.zip
10-14
不同于传统的线性回归，它不关注数据的平均值，而是关注数据分布的某个特定百分位数，比如中位数（50%分位数）或四分位数（25%和75%分位数）。这种回归分析方式对于处理异常值或者非对称分布的数据特别有用，因为它...
数据分析处理库-Pandas.zip
06-24
还可以计算百分位数、相关系数、协方差等复杂统计量。 Pandas还具有强大的时间序列分析功能，能够处理日期和时间数据。`pd.to_datetime()`函数可以将字符串转换为日期时间对象，而`date_range()`则用于生成日期范围...
Score_Control_2.0_管理_Score!_ScoreContorl_
09-30
3. 计算与分析：自动计算总分、平均分，提供排名和比较功能，可能还有统计分析如标准差、百分位数等。 4. 报告生成：自动生成报告，可视化数据，使用户能快速理解积分情况。 5. 用户界面：提供直观的图形用户界面...
Python数据分析应用：统计计算以及统计的描述.pptx
02-04
除了默认的统计指标，`describe()`函数还允许用户自定义百分位数（percentiles）参数，以计算其他特定分位数。此外，`include`和`exclude`参数可以控制是否包含浮点数、整数或其他类型的数据在统计计算中。 例如，...
pandas使用分位数+控制变量法进行多条件数据筛选
weixin_46713695的博客
11-16 400
pandas使用分位数筛选满足条件的行
pandas中的quantile函数
热门推荐
weixin_38617311的博客
02-23 2万+
data.price.quantile([0.25,0.5,0.75]) //输出 0.25 42812.25 0.50 57473.00 0.75 76099.75 quantile 英文意思 分位数  
python agg函数_python – 将百分位数传递给pandas agg函数
weixin_36173034的博客
02-02 1006
也许不是超级高效,但一种方法是自己创建一个函数：def percentile(n):def percentile_(x):return np.percentile(x, n)percentile_.__name__ = 'percentile_%s' % nreturn percentile_然后在你的agg中加入：In [11]: column.agg([np.sum, np.mean, np....
pandas中quantile函数浅解
Accelerating的博客
04-23 1万+
1 分位数（Quantile） 分位数（Quantile），亦称分位点，是连续分布函数中的一个点，该点将一个随机变量的概率分布范围分为几个等份的数值点，这个点对应概率p。若概率0<p<1，随机变量X或它的概率分布的分位数Za，是指满足条件p(X≤Za)=α的实数，常用的有中位数（即二分位数）、四分位数、百分位数等。 分位数对于实际问题能提供更加全面的分析,无论是线性模型还是非线性模型，分位数回归都是一种很好的工具，它对一般回归模型做了有益的补充。分位数回归是对以古典条件均值模型为基础的最小二乘法
pandas 常用的数学统计方法 quantile()
weixin_38477351的博客
02-27 4340
pandas 常用的数学统计方法 quantile() 1、定义：计算样本的分位数（0到1）。 2、示例： import pandas as pd student_info = pd.read_csv("F:/人工智能/科学计算库/files/student_info.csv") print(st...
pandas常用统计方法(1) – describe、quantile分位数
lildn的博客
03-09 2794
import pandas as pd data = pd.read_csv('../data/2016_happiness.csv') data.head() data.describe() * 百分位数quantile()默认q参数=0.5 #中位数 data.quantile(q=0.5) #四分位数 data.quantile(q=0.25)
python使用pandas中的groupby函数和agg函数计算每个分组数据的两个分位数（例如、百分之10分位数和百分之90分位数）
07-12
你可以使用`groupby`和`agg`函数来计算每个分组数据的两个分位数。首先，使用`groupby`函数按照你想要分组的列进行分组。然后，使用`agg`函数来应用聚合函数，其中包括计算分位数的函数。 下面是一个示例代码： ```python import pandas as pd # 创建一个示例数据集 data = {'Group': ['A', 'A', 'B', 'B', 'B', 'C'], 'Value': [1, 2, 3, 4, 5, 6]} df = pd.DataFrame(data) # 使用groupby和agg计算分位数 result = df.groupby('Group').agg({'Value': ['quantile']}) # 计算百分之10和百分之90的分位数 result = result.unstack().reset_index() result.columns = ['Group', 'Percentile', 'Value'] result = result[(result['Percentile'] == 0.1) | (result['Percentile'] == 0.9)] print(result) ``` 这将输出每个分组的百分之10和百分之90的分位数。 ``` Group Percentile Value 1 A 0.1 1.1 4 A 0.9 1.9 2 B 0.1 3.2 5 B 0.9 4.8 ``` 请根据你的实际数据进行适当的修改。希望对你有帮助！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值