并行下载数据

最新推荐文章于 2024-08-09 21:30:00 发布

滴滴答答11

最新推荐文章于 2024-08-09 21:30:00 发布

阅读量135

点赞数 1

文章标签：前端 linux javascript

本文链接：https://blog.csdn.net/weixin_46604505/article/details/136203205

版权

本文介绍了一个Python函数，用于在给定目录中查找特定文件（如TREFHT.nc等），然后将它们重命名并移动到指定目标位置。通过joblib库实现并行处理，提高了文件处理效率。主要应用于CMA-CPSV3Daily数据的管理和迁移。

摘要由CSDN通过智能技术生成

# -*- coding: utf-8 -*-

import glob
import shutil
from joblib import Parallel, delayed


def process_files_in_directory(directory):
    f1 = glob.glob(directory + '\\*')
    for filepath in f1:
        for pattern in ['*0_TREFHT.nc', '*0_TREFHTMN.nc', '*0_TREFHTMX.nc', '*0_PRECT.nc']:
            files = glob.glob(filepath + '\\' + pattern)
            if files:
                file_to_move = files[0]
                # Extract the last part of the file path to create a unique name
                # Adjust the slicing as needed for your specific file names
                unique_name = file_to_move.split('\\')[-1]
                destination = r'I:\\' + unique_name
                shutil.move(file_to_move, destination)


def copy_function_parallel(files_root):
    Parallel(n_jobs=15)(delayed(process_files_in_directory)(directory) for directory in files_root[2:])


if __name__ == '__main__':
    files_root = glob.glob(r'J:\DATA\NAFP\CEMC\CMA-CPSV3\Daily\*')
    copy_function_parallel(files_root)