Pandas复杂查询

0. 准备

import pandas as pd

# 准备数据
df = pd.read_excel('https://www.gairuo.com/file/data/dataset/team.xlsx').head()
df

	name	team	Q1	Q2	Q3	Q4
0	Liver	E	89	21	24	64
1	Arry	C	36	37	37	57
2	Ack	A	57	60	18	84
3	Eorge	C	93	96	71	78
4	Oah	D	65	49	61	86

1. 逻辑运算

# 1.单列逻辑，返回对应位置是否满足逻辑表达式
df['Q1'] > 30 

0    True
1    True
2    True
3    True
4    True
Name: Q1, dtype: bool

# 索引参与逻辑运算
df.index <= 5

array([ True,  True,  True,  True,  True])

# 2.多列逻辑，返回对应数据块中每个元素是否满足逻辑表达式
df.loc[:, 'Q1':'Q4'] > 60

	Q1	Q2	Q3	Q4
0	True	False	False	True
1	False	False	False	False
2	False	False	False	True
3	True	True	True	True
4	True	False	True	True

# 3.多条件组合
(df['Q1'] > 60) & (df['Q2'] > 60) & (df['Q3'] > 60) & (df['Q4'] > 60)

0    False
1    False
2    False
3     True
4    False
dtype: bool

# 上述结果利布尔序列拥有的all()方法实现，any()是只要有一个True则结果为True
(df.loc[:, 'Q1':'Q4'] > 60).all(axis=1)

0    False
1    False
2    False
3     True
4    False
dtype: bool

# 或（|）、与（&）、非（~）运算
~((df.loc[:, 'Q1':'Q4'] > 60).all(axis=1))

0     True
1     True
2     True
3    False
4     True
dtype: bool

### 逻辑运算中常用的几个字符串方法
# 1.name列是否包含A：.str.contains()
df['name'].str.contains('A')

0    False
1     True
2     True
3    False
4    False
Name: name, dtype: bool

# 2.name列是否出现在列表['Arry','Ack']中
df['name'].isin(['Arry','Ack'])

0    False
1     True
2     True
3    False
4    False
Name: name, dtype: bool

2. 基于上述逻辑筛选数据

# 1.df[]、df.loc[]、df.iloc[]的方括号内均支持上述逻辑表达式
df[df['name'].str.contains('ge')]  

	name	team	Q1	Q2	Q3	Q4
3	Eorge	C	93	96	71	78

# 2.[]内的逻辑表达式输出结果可以是"一个布尔序列"或者"符合格式要求的数据形式"
df[(df.loc[:, 'Q1':'Q4'] > 60).all(axis=1)]

	name	team	Q1	Q2	Q3	Q4
3	Eorge	C	93	96	71	78

# 第2行
df.iloc[1+1]

name    Ack
team      A
Q1       57
Q2       60
Q3       18
Q4       84
Name: 2, dtype: object

df.iloc[1+1:3]

	name	team	Q1	Q2	Q3	Q4
2	Ack	A	57	60	18	84

# 3.[]内的逻辑表达式输出结果也可以是"数据块"
df[df.loc[:, 'Q1':'Q4'] > 60]

	name	team	Q1	Q2	Q3	Q4
0	NaN	NaN	89.0	NaN	NaN	64.0
1	NaN	NaN	NaN	NaN	NaN	NaN
2	NaN	NaN	NaN	NaN	NaN	84.0
3	NaN	NaN	93.0	96.0	71.0	78.0
4	NaN	NaN	65.0	NaN	61.0	86.0

3. 函数筛选

### 1. 使用lambda函数
# 查询最大索引值对应的那一行，只显示'Q1'至'Q4'列
df.loc[lambda x: x.index == max(df.index), 'Q1':'Q4']

	Q1	Q2	Q3	Q4
4	65	49	61	86

# 列筛选：列名中包含Q的列
df.loc[:, lambda x: x.columns.str.contains('Q')]

	Q1	Q2	Q3	Q4
0	89	21	24	64
1	36	37	37	57
2	57	60	18	84
3	93	96	71	78
4	65	49	61	86

5. 数据查询 df.query()

# df.query()内传入的是字符串形式的逻辑表达式，类似SQL中where从句，因而不支持 df.query('df.name.str.contains('A')')
df.query('name!="Eorge" and Q1>60') 

	name	team	Q1	Q2	Q3	Q4
0	Liver	E	89	21	24	64
4	Oah	D	65	49	61	86

# 还支持使用@符号引入变量
a = df.Q1.mean()
df.query('Q1>@a') # @千万不可省略

	name	team	Q1	Q2	Q3	Q4
0	Liver	E	89	21	24	64
3	Eorge	C	93	96	71	78

# df.eval() 输出字符串内逻辑表达式的结果
df.eval('Q1>Q2')

0     True
1    False
2    False
3    False
4     True
dtype: bool

6. 筛选df.filter()，支持正则表达式、模糊匹配

# 传入行名、列名
df.filter(items=['name','Q4'])

	name	Q4
0	Liver	64
1	Arry	57
2	Ack	84
3	Eorge	78
4	Oah	86

# 正则表达式
df.filter(regex='Q', axis=1) #列名包含Q的列，axis=1传入的列名，regex='Q$'以Q结尾，regex='^Q'以Q开头

	Q1	Q2	Q3	Q4
0	89	21	24	64
1	36	37	37	57
2	57	60	18	84
3	93	96	71	78
4	65	49	61	86

df.filter(regex='2', axis=0) #索引中含2的行，axis=0传入的索引

	name	team	Q1	Q2	Q3	Q4
2	Ack	A	57	60	18	84

# name中包含ge的行
df.set_index('name').filter(regex='ge', axis=0)  #.reset_index() 推荐2中的方法

	team	Q1	Q2	Q3	Q4
name
Eorge	C	93	96	71	78

7. 按数据类型筛选

df.dtypes

name    object
team    object
Q1       int64
Q2       int64
Q3       int64
Q4       int64
dtype: object

# 只取数值型
df.select_dtypes(include='int64')

	Q1	Q2	Q3	Q4
0	89	21	24	64
1	36	37	37	57
2	57	60	18	84
3	93	96	71	78
4	65	49	61	86

# 排除数值型
df.select_dtypes(exclude='int64')

	name	team
0	Liver	E
1	Arry	C
2	Ack	A
3	Eorge	C
4	Oah	D