python程序将一个文件夹划分成多个文件

参考

import os
import shutil

"""
一个文件夹划分成多个子文件夹,每个子文件夹 num个文件,新建文件夹放入
"""

# 文件存放地址
file_path = 'D:\新建文件夹\\'

# 每个文件夹存放的个数
num = 100000
list_ = os.listdir(file_path)
if num > len(list_):
    print('num长度需小于:', len(list_))
    exit()
if int(len(list_) % num) == 0:
    num_file = int(len(list_) / num)
else:
    num_file = int(len(list_) / num) + 1
cnt = 0
for n in range(1, num_file + 1):  # 创建文件夹
    new_file = os.path.join(file_path + str(n))
    if os.path.exists(new_file + str(cnt)):
        print('该路径已存在,请解决冲突', new_file)
        exit()
    print('创建文件夹:', new_file)
    os.mkdir(new_file)
    list_n = list_[num * cnt:num * (cnt + 1)]
    for m in list_n:
        old_path = os.path.join(file_path, m)
        new_path = os.path.join(new_file, m)
        shutil.copy(old_path, new_path)
    cnt += 1

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
你可以使用Python中的SciPy库来加载.mat文件,并将其转换为Numpy数组。然后,使用PyTorch的数据加载器将Numpy数组加载到PyTorch中。 以下是一个示例代码,可以用于将多个.mat文件多个文件夹内导出到PyTorch中: ```python import os import scipy.io as sio import numpy as np import torch # 定义数据路径和批量大小 data_path = "/path/to/data/folder" batch_size = 32 # 获取所有.mat文件的路径 file_paths = [] for root, dirs, files in os.walk(data_path): for file in files: if file.endswith(".mat"): file_paths.append(os.path.join(root, file)) # 打印文件路径列表 print("Files to load: ", file_paths) # 加载数据并将其转换为Numpy数组 data = [] for file_path in file_paths: mat_data = sio.loadmat(file_path) np_data = np.array(mat_data['data']) data.append(np_data) # 将数据划分为批次并转换为PyTorch张量 data = np.array(data) num_batches = len(data) // batch_size data = data[:num_batches*batch_size] data = data.reshape(num_batches, batch_size, -1) data = torch.from_numpy(data).float() # 打印数据张量的形状 print("Data shape: ", data.shape) ``` 这个代码假设所有的.mat文件都存储在同一文件夹中,并且数据是以"data"为变量名存储在.mat文件中的。如果你的数据存储在不同的变量名中,你需要修改代码以正确地加载数据。 请注意,如果你的数据集很大,你可能需要使用PyTorch的数据集和数据加载器来逐批加载数据。这个示例代码只是一个简单的演示如何将多个.mat文件导入PyTorch中。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值