什么是Apply自定义函数?
-
Pandas提供了很多处理数据的API,如果自己的需求不能被这些API满足的时候,我们就需要写自定义函数使用apply函数
-
apply函数接收一个自定义函数,将DataFrame的
行/列
数据传递给自定义函数处理。 -
apply函数类似for循环,遍历
行/列
的每一个元素,比原生的for循环效率高。
Series使用apply自定义函数
- 创建数据
- 创建自定义函数
- 调用apply函数传入自定义函数(
传入的自定义函数不能加括号
)
原数据:
import pandas as pd
df = pd.DataFrame({'a':[10,20,30],'b':[20,30,40]})
def my_sq(x):
return x**2
sq = df['a'].apply(my_sq)
print(sq)
apply函数需要传多个参数:
def my_sq(x,e):
return x**e
# 指定参数传参
sq = df['a'].apply(my_sq,e=3)
DataFrame的apply函数
def avg_3(col):
print('===',col)
x = col[0]
y = col[1]
z = col[2]
return (x+y+z)/3
df.apply(avg_3,axis=0)
axis=0时按列计算,传过来一列根据下标取数据
axis=1时按行计算,每次传入一行数据
向量化函数
原数据:
# 两列传入函数计算两个Series对象的平均值
def avg_2(x,y):
return (x+y)/2
avg_2(df['a'],df['b'])
修改函数:
当x等于20时返回NaN
def avg_2_mod(x,y):
if(x==20):
return (np.NaN)
else:
return (x+y)/2
avg_2_mod(df['a'],df['b'])
因为x为向量,20为标量,所以这个函数会报错。
把函数向量化:
使用np.vectorize(需要向量化的函数)
def avg_2_mod(x,y):
if(x==20):
return (np.NaN)
else:
return (x+y)/2
# 把函数向量化
avg_2_mod_vec = np.vectorize(avg_2_mod)
avg_2_mod_vec(df['a'],df['b'])
返回了一个ndarray数组:
还可以使用装饰器(一样的效果):
@np.vectorize
def avg_2_mod(x,y):
if(x==20):
return (np.NaN)
else:
return (x+y)/2
a = avg_2_mod(df['a'],df['b'])
lambda函数
当函数比较简单的时候, 没有必要创建一个def 一个函数, 可以使用lambda表达式创建匿名函数
df.apply(lambda x: x*2)