python 选择多个文件_Python选择指定文件夹的文件然后复制出其中几个文件到新的文件夹...

"""

要求：

1.读取cdm文件的所有子文件夹，然后每个文件夹里面是抽出一个一个mp3后缀的文件。

遍历所有的子文件，然后将这些mp3文件，保存到一个新的文件夹。文件夹后缀是当前文件的年代的

基础加后缀_single,例如：来自2000年文件夹就命名2000_single。

"""

import shutil

import pathlib

import pprint

from typing import List, Generator, Iterable, Tuple

from itertools import chain, islice

import os

from concurrent.futures import ThreadPoolExecutor, ProcessPoolExecutor

from functools import partial

import traceback

import time

from multiprocessing import cpu_count

DIR_PATH = pathlib.Path("/Users/chennan/CDM")

MAX_CONCCURENT = cpu_count() * 4 - 2

def multiple_file_types(file_path: Generator, *patterns: Tuple[str]) \

-> Iterable:

"""

因为glob不支持多个匹配规则，所以这里做一个适配。

:param file_path: 文件的路径

:param patterns: 匹配规则

:return:

"""

return (file_path.glob(pattern) for pattern in patterns)

def get_all_list_by_year(y: str) -> Generator:

"""

:param y: 年代

:return: 返回结果迭代器类型

"""

file_path = DIR_PATH / y

result = file_path.glob("*")

return result

def get_mp3_list(cdm_path: str) -> Generator:

"""

获取当前文件下面的所有音频文件，mp3,wav,ape,flac等

:param cdm_path:专辑的路径

:return:

"""

mp3_gen = multiple_file_types(cdm_path, *("*.mp3", "*.ape", "*.wav", "*.flac"))

return mp3_gen

def select_mp3(y: str) -> List[pathlib.Path]:

"""

:param y:

:return:

"""

selected_mp3_list = []

sa = selected_mp3_list.append

cdm_list = get_all_list_by_year(y)

for dir_path in cdm_list:

mp3_gen = get_mp3_list(dir_path)

try:

single = mp3_gen.send(None)

sa(list(single)[0])

except StopIteration as e:

pass

except IndexError as e:

pass

return selected_mp3_list

def create_target_file(y):

target = DIR_PATH / f"{y}_new"

if not os.path.exists(target):

os.makedirs(target)

return target

def copy_file_to_new_path(source, y, target):

"""

shutil复制文件

:return:

"""

try:

shutil.copy(source, target / source.name)

except Exception as e:

print(traceback.format_exc())

if __name__ == '__main__':

start = time.time()

year = "2000"

mp3_list = select_mp3(year)

target = create_target_file(year)

if target:

with ThreadPoolExecutor(max_workers=MAX_CONCCURENT) as pool:

pool.map(partial(copy_file_to_new_path, y=year, target=target), mp3_list)

print(f"并发{MAX_CONCCURENT}次，用时", time.time() - start)

#关于并发的问题有待观察。。。

# 线程池并发结果

# 并发2次，用时 6.518146991729736

# 并发10次，用时 7.732945919036865

# 并发30次，用时 7.956831932067871

# 并发100次，用时 7.956831932067871

# 进程池并发结果

# 并发2次，用时 6.013077974319458

# 并发8次，用时 6.863225221633911

# 并发14次，用时 4.6188788414001465

# 并发30次，用时 4.858534812927246

XCopy复制文件夹命令及参数详解以及xcopy拷贝目录并排除特定文件

XCOPY是COPY的扩展,可以把指定的目录连文件和目录结构一并拷贝,但不能拷贝系统文件:使用时源盘符.源目标路径名.源文件名至少指定一个:选用/S时对源目录下及其子目录下的所有文件进行COPY.除非 ...

[转帖]XCopy复制文件夹命令及参数详解以及xcopy拷贝目录并排除特定文件

XCopy复制文件夹命令及参数详解以及xcopy拷贝目录并排除特定文件 https://www.cnblogs.com/smartsmile/p/7665979.html xcopy dirA dir ...

Eclipse设置所有新创建文件默认格式为UTF-8

一.为什么需要设置所有新创建文件默认格式为UTF-8 Eclipse编码默认是ISO-8859-1,不支持中文.而很多时候,我们的文件中含有中文,或者需要在创建文件时就需要是UTF-8编码格式的.在创 ...

zzw原创_根据某一文件复制出大量固定位数后缀名的递增的文件

1.trre.sh   :根据某一文件复制出大量固定位数后后缀递增的文件.   如将 SPINFO_190516_20170109.001 复制成SPINFO_190516_20170109.002  ...

Python压缩指定文件及文件夹为zip

Python压缩指定的文件及文件夹为.zip 代码: def zipDir(dirpath,outFullName): """ 压缩指定文件夹 :param dirpat ...

Python——合并指定文件夹下的所有excel文件

前提:该文件夹下所有文件有表头且具有相同的表头. import glob # 同下 from numpy import * #请提前在CMD下安装完毕,pip install numppy impor ...

python实现指定目录下批量文件的单词计数：并发版本

在 文章 中, 总体思路是: A. 一次性获取指定目录下的所有符合条件的文件 -> B. 一次性获取所有文件的所有文件行 - ...

Python学习笔记(20)-文件和文件夹的移动、复制、删除、重命名

一,概述 python中对文件和文件夹进行移动.复制.删除.重命名,主要依赖os模块和shutil模块,要死记硬背这两个模块的方法还是比较困难的,可以用一个例子集中演示文件的移动.复制.删除.重命名, ...

python 读取指定文件信息并拼接

python 读取指定文本并拼接成指定的格式 # -*- coding: utf-8 -*- import os def getHelloWorld(path, fileName): "&q ...

随机推荐

Linux安装ftp组件过程

1   安装vsftpd组件 安装完后,有/etc/vsftpd/vsftpd.conf 文件,是vsftp的配置文件. [root@bogon ~]# yum -y install vsftpd 2 ...

linux系统命令解析(0基础篇)

经常使用命令 ctrl+W+T    当进入gvim文档编辑界面后,假设是C文件,能够列出当前文件里的全部函数. Shift+*    当进入gvim文档编辑页面,能够搜索当前keyword. ech ...

JavaScript入门(5)

一.什么是数组? 数组是一个值的集合,每一个值都有一个索引号,从0开始,每个索引都有一个相应的值,根据需要添加更多数值. 好比一个团,团里有很多人.如下使用数组存储5个学生成绩: 二.如何创建数组 使 ...

octopress添加回到顶部按钮

准备回到顶部的png图片一枚,可以随自己喜好google.分享我的 取名top.png,保存在octopress/source/images/top.png octopress/source/_inc ...

查文件大小列表 MySQL问题

du -sh /* | sort -nr 打开网站发现Too many connections The server quit without updating PID file (/usr/loca ...

Java面试12|Linux及Shell脚本

1. 随便写一个awk的命令.用awk统计文本行数 (1)最近登录的5个帐号 last -n 5 | awk -F ':'(指定域分割符号) '{print $1}' 读入有'\n'换行符分割的一条记 ...

HDU1035 Robot Motion

Problem Description A robot has been programmed to follow the instructions in its path. Instructions ...

C# DataTable详解

添加引用 using System.Data; 创建表 //创建一个空表 DataTable dt = new DataTable(); //创建一个名为"Table_New"的空 ...

hadoop集群故障排除

故障一:某个datanode节点无法启动 我是以用户名centos安装和搭建了一个测试用的hadoop集群环境,也配置好了有关的权限,所有者.所属组都配成centos:centos [故障现象] 名称 ...

Linux 中 &、jobs、fg、bg 等命令

参考  Unix 或 Linux 中 &.jobs.fg.bg 等命令的使用方法 对之前文章的一个补充: linux 命令后台运行 这篇还是比较简单的,稍微一带而过 fg.bg.jobs.&a ...