Python使用小教程04——numpy+pandas实现分区统计

puffdoudou

已于 2022-10-05 14:40:23 修改

阅读量816

点赞数 1

分类专栏： Python使用小教程文章标签： python numpy 数据分析

于 2021-04-28 17:37:07 首次发布

本文链接：https://blog.csdn.net/puffdoudou/article/details/116239127

版权

Python使用小教程专栏收录该内容

4 篇文章 0 订阅

订阅专栏

该博客介绍如何利用numpy和pandas的groupby功能替代for循环进行分区统计，提高计算效率。通过示例代码展示了如何计算矩阵区域的最大平方差，并提供了自定义函数的应用。这种方法利用了groupby的并行计算能力，显著提升了处理大型二维数据的速度。

摘要由CSDN通过智能技术生成

使用numpy和pandas进行分区统计
就可以不用for循环了
groupby是多线程的，比普通for循环快多了

import numpy as np
import pandas as pd

aa = np.ones((10, 10))
aa[1:3, 2:4] = 3
aa[5:8, 6:9] = 2

bb = np.ones((10, 10)) + 200
bb[4:9, 3:8] = 100


def max_square_dist(x):
    res = (x-np.nanmean(x))**2
    return np.nanmax(res)


def statistics_by_zone(area, img, func=None):
    """
	:param area: 2D-numpy
	:param img: 2D-numpy
	:param func: 自定义函数， 默认均值
	:return:
	"""
    info = {'area': area.flatten(),
            'img': img.flatten()}
    ds = pd.DataFrame(info)
    if func is not None:
        stat = ds.groupby('area').agg(func)
    else:
        stat = ds.groupby('area').agg('mean')

    return stat


print(statistics_by_zone(aa, bb))