dataframe先分组运算再合并输出

最新推荐文章于 2023-06-15 23:16:07 发布

RS&

最新推荐文章于 2023-06-15 23:16:07 发布

阅读量539

点赞数

分类专栏： # python 编程文章标签： python numpy pandas

本文链接：https://blog.csdn.net/qq_32649321/article/details/125865126

版权

python 同时被 2 个专栏收录

148 篇文章 10 订阅

订阅专栏

编程

4 篇文章 0 订阅

订阅专栏

dataframe先分组运算再合并输出：主要用到分组函数groupby和合并函数append、concat，具体代码：

比如先分组，对每组数据进行删除异常值处理（MAD），然后将处理后的数据合并成一个dataframe输出。

import os
import pandas as pd
from pyod.models.mad import MAD

import warnings
warnings.filterwarnings('ignore')

#%%
#test
df = pd.read_csv('./21.csv')
# print(len(df))#2273824

def fit_model(model, data, column='s'):
    # fit the model and predict it
    df = data.copy()
    data_to_predict = data[column].to_numpy().reshape(-1, 1)
    predictions = model.fit_predict(data_to_predict)
    df['Predictions_1'] = predictions
    
    return df

df_groupby = df.groupby(["class"])#group by class
frames = []
for decyear,group in df_groupby:
    # print(decyear)
    # print(group)
    mad_model = MAD()
    group_mad = fit_model(mad_model,group)
    group_mad_filter = group_mad[(group_mad['Predictions_1'] == 0)]
    # print(group_mad_filter)    
    frames.append(group_mad_filter)
    
result = pd.concat(frames, axis=0, names=None)
print('done!')