python | scalene，一个超酷的 Python 库！

双木的木

于 2025-05-03 08:15:00 发布

阅读量969

点赞数 15

分类专栏：深度学习拓展阅读 python库文章标签： python 开发语言深度学习人工智能缓存 cpu jupyter

本文链接：https://blog.csdn.net/csdn_xmj/article/details/147565645

版权

深度学习拓展阅读同时被 2 个专栏收录

631 篇文章

订阅专栏

python库

146 篇文章

订阅专栏

本文来源公众号“python”，仅用于学术分享，侵权删，干货满满。

原文链接：scalene，一个超酷的 Python 库！

大家好，今天为大家分享一个超酷的 Python 库 - scalene。

Github地址：https://github.com/emeryberger/scalene

Scalene是一个高性能的Python分析器，专为发现CPU和内存使用效率问题而设计。它由马萨诸塞大学开发，区别于传统分析器，Scalene能够精确定位Python代码和原生代码的性能瓶颈，并提供内存分配和内存泄漏的详细分析。

安装

1、基本安装方法

Scalene可以通过Python的包管理器pip轻松安装：

pip install scalene

对于Jupyter用户，可以安装包含Jupyter集成的版本：

pip install scalene[jupyter]

2、验证安装

安装完成后，可以通过命令行验证安装是否成功：

scalene --version

如果安装成功，上述命令将显示当前安装的Scalene版本。

特性

分离Python和原生代码分析：区分Python代码和C/C++代码的CPU使用情况
精确的行级分析：提供行级别的CPU和内存使用分析
内存分析：跟踪内存分配、释放和泄漏
低开销：使用采样技术，分析过程对程序性能影响小
GPU内存分析：支持PyTorch和TensorFlow的GPU内存使用分析
交互式HTML报告：生成可交互的HTML报告，便于分析和查看
Jupyter集成：支持在Jupyter Notebook中直接使用
远程分析：支持远程服务器和云环境中的分析
多线程分析：支持多线程程序的性能分析

基本功能

1、命令行分析

Scalene最基本的功能是从命令行对Python程序进行分析。以下示例展示如何使用命令行对一个Python脚本进行性能分析。这个功能适用于分析任何Python脚本的执行性能，从简单的数据处理任务到复杂的机器学习训练过程。

# 创建一个示例Python脚本 example.py
def compute_factorial(n):
    result = 1
    for i in range(1, n + 1):
        result *= i
    return result

def create_large_list(size):
    return [i for i in range(size)]

def main():
    # CPU密集型操作
    for i in range(10000):
        compute_factorial(100)
    
    # 内存密集型操作
    large_lists = []
    for i in range(100):
        large_lists.append(create_large_list(10000))
    
    # 释放一部分内存
    large_lists = large_lists[:50]

if __name__ == "__main__":
    main()

使用Scalene分析上述脚本：

scalene example.py

执行此命令后，Scalene会运行脚本并生成分析报告，默认以HTML格式打开，展示CPU和内存使用情况。

2、细粒度控制分析范围

Scalene允许精确控制分析的范围和方式。以下示例展示如何使用各种命令行参数来定制分析过程，这对于针对特定性能问题的调查尤为有用。

# 仅分析CPU使用情况
scalene --cpu-only example.py

# 仅分析内存使用情况
scalene --memory-only example.py

# 设置更高的采样频率，提高精度（以牺牲开销为代价）
scalene --cpu-sampling-rate=0.01 example.py

# 指定分析输出格式
scalene --outfile=profile_results.html example.py
scalene --json --outfile=profile_results.json example.py

# 分析特定函数或代码段
scalene --profile-interval=main example.py

3、在Jupyter中使用Scalene

Scalene可以直接在Jupyter Notebook或Lab中使用，提供交互式的分析体验。以下示例展示如何在Jupyter环境中使用Scalene进行代码分析，这对于数据科学家和研究人员进行交互式代码开发和优化特别有价值。

# 在Jupyter中使用Scalene
%load_ext scalene

# 定义要分析的函数
def memory_intensive_function():
    large_lists = []
    for i in range(1000):
        large_lists.append([j for j in range(10000)])
    return len(large_lists)

# 使用Scalene魔术命令进行分析
%%scalene
memory_intensive_function()

执行上述单元格后，Scalene会直接在Notebook中显示分析结果，包括每行代码的CPU和内存使用情况。

高级功能

1、内存泄漏检测

Scalene能够识别潜在的内存泄漏，这是Python程序中常见的性能问题。以下示例展示如何使用Scalene检测内存泄漏，这对于长时间运行的应用或服务特别重要。

# memory_leak.py
import time

def leaky_function():
    # 模拟内存泄漏：创建大量对象但不释放引用
    leaky_list = []
    for i in range(100):
        # 每次添加一个大数组
        leaky_list.append([0] * 1000000)
        time.sleep(0.1)  # 给Scalene时间进行采样

if __name__ == "__main__":
    leaky_function()

使用Scalene检测内存泄漏：

scalene --leak-report memory_leak.py

Scalene会生成报告，突出显示可能泄漏内存的代码行，并提供相关的内存增长数据。

2、Python与原生代码区分

Scalene的一个独特功能是能够区分Python代码和C/C++原生代码的CPU使用情况。这对于使用大量扩展库的应用尤为重要，有助于确定性能瓶颈是在Python代码中还是在底层库中。

# mixed_code.py
import numpy as np
import time

def python_intensive():
    # 纯Python计算
    result = 0
    for i in range(10000000):
        result += i
    return result

def numpy_intensive():
    # 使用numpy（C实现）的计算
    arr = np.arange(10000000)
    for _ in range(100):
        arr = np.sqrt(arr)
    return arr.sum()

if __name__ == "__main__":
    python_intensive()
    numpy_intensive()

使用Scalene分析：

scalene --cpu-percent-python mixed_code.py

Scalene的报告会显示每行代码花费在Python和原生代码上的CPU时间百分比，帮助识别哪部分代码可能需要优化或重写为原生代码。

实际应用场景

优化大数据处理流程

以下是使用Scalene优化数据处理流程的实际示例。在数据科学和机器学习项目中，数据预处理通常是计算密集型的，识别并优化瓶颈可以显著提高整体性能。

# data_processing.py
import pandas as pd
import numpy as np
from sklearn.preprocessing import StandardScaler

def load_data(filename):
    # 加载大型CSV文件
    return pd.read_csv(filename)

def clean_data(df):
    # 填充缺失值
    for col in df.columns:
        if df[col].dtype == np.float64 or df[col].dtype == np.int64:
            df[col] = df[col].fillna(df[col].mean())
        else:
            df[col] = df[col].fillna(df[col].mode()[0])
    return df

def transform_features(df):
    # 特征转换
    numeric_cols = df.select_dtypes(include=['float64', 'int64']).columns
    scaler = StandardScaler()
    df[numeric_cols] = scaler.fit_transform(df[numeric_cols])
    return df

def main():
    df = load_data("large_dataset.csv")
    df = clean_data(df)
    df = transform_features(df)
    # 保存处理后的数据
    df.to_csv("processed_data.csv", index=False)

if __name__ == "__main__":
    main()

使用Scalene分析此数据处理脚本：