经过测试不管是在USB3.0的移动机械硬盘还是SATA固态硬盘,python使用os.lstat
读磁盘的matedata都比新建立一个空线程开销小得多,另外两种硬盘环境下os.lstat
函数开销没有差太多。所以将判断文件是否需要复制的步骤放在新建复制线程外可以减小线程开销,但是如果不是像/dev这种有很多伪文件的目录,反而会降低程序的并行能力而降低性能。
测试代码为:
import time
from threading import Thread
import os
def nothing():
pass
path = '/etc'
dirlist = os.listdir(path)
lendir = len(dirlist)
os.chdir(path)
a = time.time()
for i in dirlist:
os.lstat(i)
b = time.time()
print('读{}个matedata粗略估用时{}'.format(lendir, b-a))
# Test to create some new threads
a = time.time()
for i in range(lendir):
Thread(target=nothing).start()
b = time.time()
print('建立{}个线程粗略估用时{}'.format(lendir, b-a))