使用pandas进行并行数据加载 实现大数据量文件的快速读取

使用python pandas进行并行数据加载

下面这行代码涉及到，数据加载以及数据合并。我会逐步拆解这行代码，讲解其中的知识点。

应用场景

加载大批量的数据，数据量巨大时，该方法有很大优势。

主要操作

1. 并行处理：使用joblib库的Parallel和delayed函数来并行读取多个ZIP压缩的CSV文件。
2. 数据加载：通过pandas的read_csv函数加载CSV文件。
3. 数据合并：使用pandas的concat函数将所有读取的DataFrame合并成一个大的DataFrame。

代码拆解

import pandas as pd
from joblib import Parallel,delayed
from glob import glob
zip_list = glob(os.path.join(zip_path, symbol, f'{symbol}*.zip'))
df = pd.concat(
    Parallel(n_jobs=4)(
        delayed(pd.read_csv)(
            path_, header=None, encoding="utf-8", compression='zip',
            names=['open_time', 'open', 'high', 'low', 'close', 'volume',
                   'close_time', 'quote_volume', 'trade_num',
                   'taker_buy_base_asset_volume', 'taker_buy_quote_asset_volume',
                   'ignore']
        ) for path_ in zip_list
    ), ignore_index=True)

1. glob(dir path)

   • 获取文件路径 获取符合特定模式的文件路径,使用*来代表任意的字符。

2. Parallel(n_jobs=4):

   • 并行处理：Parallel是joblib库中用于并行执行任务的函数。n_jobs=4参数指定并发执行的任务数量，这里设置为4，意味着同时运行4个进程。

3. delayed(function)(parameters):

   • 延迟执行：delayed是一个将函数调用包装起来，以便Parallel可以并行执行的工具。这里它包装了pd.read_csv函数及其参数。

4. pd.read_csv:

   • 数据加载：这是pandas库中用于读取CSV文件的函数。这里它被用来读取ZIP压缩的CSV文件，参数配置如下：
     • header=None：指示原始数据没有列名，将不自动将第一行作为列名。
     • encoding="utf-8"：指定文件的字符编码。
     • compression='zip'：指定文件是ZIP格式的压缩文件。
     • names=[...]：手动指定列名列表，这是因为header=None，所以需要明确列名。

5. 列表推导式:

   • 迭代读取：这里使用列表推导式(for path_ in zip_list)来迭代ZIP文件列表zip_list，对每个路径使用pd.read_csv读取数据。

6. pd.concat:

   • 数据合并：将列表推导式读取并由Parallel并行处理的所有DataFrame合并成一个大的DataFrame。ignore_index=True参数意味着在合并时忽略原来的索引，生成一个新的连续索引。

技术点

• 并行计算：使用joblib库进行并行计算，提高数据处理效率。
• 列表推导式：一种简洁的构建列表的方法，用于迭代操作和条件表达式。
• Pandas数据处理：使用pandas进行数据读取、处理和合并。
• 文件读取：处理ZIP压缩格式的文件，以及对CSV文件进行读取和解析。
• 函数延迟执行：通过delayed对函数调用进行延迟，以便并行处理。

相关知识 —— 并行计算

我们会使用joblib来演示如何并行计算一个简单的任务：计算一系列数字的平方。

from joblib import Parallel, delayed

def compute_square(number):
    return number * number

# 定义一个数字列表
numbers = range(10)

# 使用joblib并行计算每个数字的平方
squared_numbers = Parallel(n_jobs=2)(delayed(compute_square)(i) for i in numbers)

print(squared_numbers)

• 解释：在这个例子中，compute_square函数计算一个数字的平方。使用joblib的Parallel函数和delayed函数，并行地对numbers列表中的每个数字调用compute_square函数。n_jobs=2参数指示同时使用两个核心。这样，计算过程被分配到两个进程中，加快执行速度。