遍历DataFrame两种方法,itertuples和列表推导式

不建议用行序号方法( df.iloc和df.loc),是最慢的方法
向量化比逐行更快
多进程/多线程/协程可能更快,pandas并不能吃满cpu,大量耗时时再考虑优化问题

import time
from pandas import DataFrame
# f是函数
# 方法1
for row in df.itertuples(index=False):
    result += f(row.B, row.C)
# 上下两个原理相同
for(_, col1, col2, col3, col4) in df.itertuples(name=None):
    result += f(col2, col3)

# 方法2 列表推导式
# 单列直接取
result = [f(x) for x in df['col']]
# 两列用zip合并
result = [f(x, y) for x, y in zip(df['col1'], df['col2'])]
# 多列需要转numpy, ...是省略号
result = [f(row[0], ..., row[n]) for row in df[['col1', ...,'coln']].to_numpy()]
# 多列有特殊类型不能用numpy,还用zip
result = [f(row[0], ..., row[n]) for row in zip(df['col1'], ..., df['coln'])]