python数据处理----Apply自定义函数和向量化函数

什么是Apply自定义函数？

• Pandas提供了很多处理数据的API，如果自己的需求不能被这些API满足的时候，我们就需要写自定义函数使用apply函数

• apply函数接收一个自定义函数，将DataFrame的 行/列 数据传递给自定义函数处理。

• apply函数类似for循环，遍历行/列的每一个元素，比原生的for循环效率高。

---

Series使用apply自定义函数

• 创建数据
• 创建自定义函数
• 调用apply函数传入自定义函数(传入的自定义函数不能加括号)

原数据：

import pandas as pd
df = pd.DataFrame({'a':[10,20,30],'b':[20,30,40]})
def my_sq(x):
    return x**2

sq = df['a'].apply(my_sq)
print(sq)

apply函数需要传多个参数：

def my_sq(x,e):
    return x**e
# 指定参数传参
sq = df['a'].apply(my_sq,e=3)

---

DataFrame的apply函数

def avg_3(col):
    print('===',col)
    x = col[0]
    y = col[1]
    z = col[2]
    return (x+y+z)/3
df.apply(avg_3,axis=0)

axis=0时按列计算，传过来一列根据下标取数据

axis=1时按行计算，每次传入一行数据

---

向量化函数

原数据：

# 两列传入函数计算两个Series对象的平均值
def avg_2(x,y):
    return (x+y)/2
avg_2(df['a'],df['b'])

修改函数：

当x等于20时返回NaN

def avg_2_mod(x,y):
    if(x==20):
        return (np.NaN)
    else:
        return (x+y)/2
avg_2_mod(df['a'],df['b'])

因为x为向量，20为标量，所以这个函数会报错。

把函数向量化：

使用np.vectorize(需要向量化的函数)

def avg_2_mod(x,y):
    if(x==20):
        return (np.NaN)
    else:
        return (x+y)/2
# 把函数向量化
avg_2_mod_vec = np.vectorize(avg_2_mod)
avg_2_mod_vec(df['a'],df['b'])

返回了一个ndarray数组：

还可以使用装饰器（一样的效果）：

@np.vectorize
def avg_2_mod(x,y):
    if(x==20):
        return (np.NaN)
    else:
        return (x+y)/2
a = avg_2_mod(df['a'],df['b'])

---

lambda函数

当函数比较简单的时候, 没有必要创建一个def 一个函数, 可以使用lambda表达式创建匿名函数

df.apply(lambda x: x*2)