Python的几种不同的文件遍历方式、对比和优缺点

最新推荐文章于 2023-06-28 20:46:39 发布
最新推荐文章于 2023-06-28 20:46:39 发布
阅读量1.1k 收藏 2
点赞数
分类专栏： # python 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shadow_2011/article/details/119536053
版权

Python的几种文件遍历方式


本次列举python的几种不同的文件遍历方式。

运行环境

原始文件目录结构

E:
|-files
	|-.git
		|-config
		|-HEAD
		|-index
		|-hooks
			|-applypatch-msg.sample
			|-commit-msg.sample
	|.vscode
		|-launch.json
		|-tasks.json
	|-src
		|-helloworld.h
		|-helloworld.cpp
	|-main.cpp

glob 库

注意： 本方式无法遍历指令目录下以点号"."开头的文件夹,比如".git" ".vs"

glob模块是最简单的模块之一，内容非常少。用它可以查找符合特定规则的文件路径名。跟使用windows下的文件搜索差不多。查找文件只用到三个匹配符："*", "?", "[]"

"*"匹配0个或多个字符；
"?"匹配单个字符；
"[]"匹配指定范围内的字符，如：[0-9]匹配数字。

glob.glob 方式

函数定义: def glob(pathname, *, recursive=False):

函数功能: 匹配所有的符合条件的文件，并将其以list的形式返回

参数说明: 它只有一个参数pathname，定义了文件路径匹配规则，这里可以是绝对路径，也可以是相对路径。

下面是使用glob.glob的例子：

遍历指定目录下的所有文件,不包括子文件

import os
import glob

def func1():
    for strFile in glob.glob(r'E:\files\*', recursive=True):
        print('%s : "%s"' % (("file" if os.path.isfile(strFile) else "dir "), strFile))


if __name__ == '__main__':
    func1()

# 输出为:
# file : "E:\files\main.cpp"
# dir  : "E:\files\src"

遍历指定目录下的所有文件,包括子文件

import os
import glob

def func1():
    for strFile in glob.glob(r'E:\files\**', recursive=True):
        print('%s : "%s"' % (("file" if os.path.isfile(strFile) else "dir "), strFile))


if __name__ == '__main__':
    func1()

# 输出为:
# dir  : "E:\files\"
# file : "E:\files\main.cpp"
# dir  : "E:\files\src"
# file : "E:\files\src\helloworld.cpp"
# file : "E:\files\src\helloworld.h"

获取指定目录下的所有cpp文件

import os
import glob

def func1():
    for strFile in glob.glob(r'E:\files\*\*.cpp', recursive=True):
        print('%s : "%s"' % (("file" if os.path.isfile(strFile) else "dir "), strFile))


if __name__ == '__main__':
    func1()

# 输出为:
# file :"E:\files\src\helloworld.cpp"

glob.iglob 方式

函数定义： def iglob(pathname, *, recursive=False):

函数功能: 获取一个可遍历对象，使用它可以逐个获取匹配的文件路径名。

与glob.glob()的区别是：glob.glob同时获取所有的匹配路径，而glob.iglob一次只获取一个匹配路径，相当于迭代器。查看glob.glob()方法的源码可获知两者的关系。

def glob(pathname, *, recursive=False):
    return list(iglob(pathname, recursive=recursive))

下面是一个简单的例子:

import glob
#父目录中的.py文件
f = glob.iglob(r'../*.py')
print (f) #<generator object iglob at 0x00B9FF80>
for py in f:
    print (py)

pathlib库

Path(‘dir’).rglob(“pattern”) 递归方式

函数定义： def rglob(self, pattern):

函数功能:

Recursively yield all existing files (of any kind, including directories) matching the given relative pattern, anywhere in this subtree.

递归遍历指定目录下的所有文件

import os
from pathlib import Path

def func2():
    path = Path(r'E:\files')
    for p in path.rglob("*"):
        print('%s : "%s"' % (("file" if os.path.isfile(str(p)) else "dir "), str(p)))


if __name__ == '__main__':
    func2()


# 输出为:
# dir  : "E:\files\.git"
# dir  : "E:\files\.vscode"
# file : "E:\files\main.cpp"
# dir  : "E:\files\src"
# file : "E:\files\.git\config"
# file : "E:\files\.git\HEAD"
# dir  : "E:\files\.git\hooks"
# file : "E:\files\.git\index"
# file : "E:\files\.git\hooks\applypatch-msg.sample"
# file : "E:\files\.git\hooks\commit-msg.sample"
# file : "E:\files\.vscode\launch.json"
# file : "E:\files\.vscode\tasks.json"
# file : "E:\files\src\helloworld.cpp"
# file : "E:\files\src\helloworld.h"

递归遍历指定目录下的所有cpp文件

import os
from pathlib import Path

def func2():
    path = Path(r'E:\files')
    for p in path.rglob("*.cpp"):
        print('%s : "%s"' % (("file" if os.path.isfile(str(p)) else "dir "), str(p)))


if __name__ == '__main__':
    func2()

# 输出
# file : "E:\files\main.cpp"
# file : "E:\files\src\helloworld.cpp"

Path(‘dir’).glob(“pattern”) 非递归方式

函数定义： def glob(self, pattern):

函数功能:

Iterate over this subtree and yield all existing files (of any kind, including directories) matching the given relative pattern.

非递归遍历指定目录下的所有文件

import os
from pathlib import Path

def func2():
    path = Path(r'E:\files')
    for p in path.glob("*"):
        print('%s : "%s"' % (("file" if os.path.isfile(str(p)) else "dir "), str(p)))


if __name__ == '__main__':
    func2()

# 输出
# dir  : "E:\files\.git"
# dir  : "E:\files\.vscode"
# file : "E:\files\main.cpp"
# dir  : "E:\files\src"

非递归遍历指定目录下的所有cpp文件

import os
from pathlib import Path

def func2():
    path = Path(r'E:\files')
    for p in path.glob("*.cpp"):
        print('%s : "%s"' % (("file" if os.path.isfile(str(p)) else "dir "), str(p)))


if __name__ == '__main__':
    func2()

# 输出
# file : "E:\files\main.cpp"

os.walk方式

函数定义： def walk(top, topdown=True, onerror=None, followlinks=False):

函数功能: 遍历目录，topdown=false表示先返回目录，后返回文件

参数说明：

top：表示需要遍历的目录树的路径。
topdown: topdown的默认值是True，表示首先返回根目录树下的文件，然后遍历目录树下的子目录。值设为False时，则表示先遍历目录树下的子目录，返回子目录下的文件，最后返回根目录下的文件。
onerror: onerror的默认值是None，表示忽略文件遍历时产生的错误。如果不为空，则提供一个自定义函数提示错误信息后继续遍历或抛出异常中止遍历。
该函数返回一个列表，列表中的每一个元素都是一个元组，该元组有3个元素，分别表示每次遍历的路径名，目录列表和文件列表。
followlinks: 默认情况下，os.walk 不会遍历软链接指向的子目录，若有需要请将followlinks设定为true

该函数返回一个列表，列表中的每一个元素都是一个元组，该元组有3个元素，分别表示每次遍历的路径名，目录列表和文件列表。

>>> r=os.walk('d:\\test2',topdown=False)
>>> r
<generator object walk at 0x0000000004C5D480>
>>> list(r)
[('d:\\test2\\dir1', [], []), ('d:\\test2\\dir2\\dir3', [], ['2.txt', '33.bmp']), ('d:\\test2\\dir2', ['dir3'], ['1.txt']), ('d:\\test2', ['dir1', 'dir2'], [])]

用root,dirs,files三个变量遍历目录的的目录层级，目录层级的子目录，目录层级下的文件
 for root,dirs,files in os.walk(r'd:\\test2',topdown=False):
root：表示当前遍历到哪一级目录了，目录的名字是谁
dirs：表示root下有哪些子目录
files：表示root下边有几个文件

遍历某一文件下的所有文件，首先返回根目录树下的文件，然后遍历目录树下的子目录

import os

def func3():
    for root, dirs, files in os.walk(r'E:\files', topdown=True):
        for name in files:
            print('file : ' + os.path.join(root, name))
        for name in dirs:
            print('dir  : ' + os.path.join(root, name))


if __name__ == '__main__':
    func3()

# 输出
# file : E:\files\main.cpp
# dir  : E:\files\.git
# dir  : E:\files\.vscode
# dir  : E:\files\src
# file : E:\files\.git\config
# file : E:\files\.git\HEAD
# file : E:\files\.git\index
# dir  : E:\files\.git\hooks
# file : E:\files\.git\hooks\applypatch-msg.sample
# file : E:\files\.git\hooks\commit-msg.sample
# file : E:\files\.vscode\launch.json
# file : E:\files\.vscode\tasks.json
# file : E:\files\src\helloworld.cpp
# file : E:\files\src\helloworld.h

遍历某一文件下的所有文件，先遍历目录树下的子目录，返回子目录下的文件

import os

def func3():
    for root, dirs, files in os.walk(r'E:\files', topdown=False):
        for name in files:
            print('file:' + os.path.join(root, name))
        for name in dirs:
            print('dir:' + os.path.join(root, name))


if __name__ == '__main__':
    func3()

# 输出
# file : E:\files\.git\hooks\applypatch-msg.sample
# file : E:\files\.git\hooks\commit-msg.sample
# file : E:\files\.git\config
# file : E:\files\.git\HEAD
# file : E:\files\.git\index
# dir  : E:\files\.git\hooks
# file : E:\files\.vscode\launch.json
# file : E:\files\.vscode\tasks.json
# file : E:\files\src\helloworld.cpp
# file : E:\files\src\helloworld.h
# file : E:\files\main.cpp
# dir  : E:\files\.git
# dir  : E:\files\.vscode
# dir  : E:\files\src

从以上例子可以看出，topdown设值不同，os.walk()返回的列表元素顺序不同（但不是相反），所以遍历后的结果也不同。

EchoCoder
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python 获取文件夹下文件列表（不递归）
zhangzhechun的专栏
11-25 2195
【代码】python 获取文件夹下文件列表（不递归）
python os.walk 排序_python——os.listdir 排序乱序问题
weixin_39975868的博客
12-08 1388
---恢复内容开始---今天编写代码遇到了问题，读取一个文件夹下的文件时，文件乱序，没有按自己想要的顺序输出，然后百度了一下，虽然已解决，但没有彻底解决。刚开始的输出文件顺序：【备注共有96个文件，我只输出前五项】['real-mask-ro-10b-20170402194753-0-83297987.fit','real-mask-ro-16b-20170402201432-2-83298014...
使用 Python 实现文件递归遍历的三种方式
09-20
主要介绍了使用 Python 实现文件递归遍历的三种方式,非常不错，具有一定的参考借鉴价值，需要的朋友参考下吧
三种方式(os.walk、glob、os.listdir)得到文件目录下的每个文件的文件名
缇珞的博客
11-28 1254
#_*_coding:utf-8_*_ import os import glob print("=========walk()========") #os.walk(top[, topdown=True[, onerror=None[, followlinks=False]]]): #top -- 是你所要遍历的目录的地址, 返回的是一个三元组(root,dirs,files)。 ...
python非递归遍历目录
最新发布
qq_43439853的博客
06-28 423
python 非递归遍历目录
python os.walk 排序_python – os.walk以什么顺序迭代？
weixin_39732991的博客
12-08 1124
os.walk使用os.listdir。这里是os.listdir的docstring：listdir(path) -> list_of_stringsReturn a list containing the names of the entries in the directory.06000The list is in arbitrary order. It does not inclu...
python os.walk 排序_os.walk按什么顺序迭代？
weixin_39809175的博客
12-08 7436
os.walk使用os.listdir。这是os.listdir的文档字符串：listdir(path) -> list_of_stringsReturn a list containing the names of the entries in the directory.path: path of directory to listThe list is in arbitrary ord...
python os.walk 排序_python 中的 os.walk()方法
weixin_39638105的博客
12-08 1652
os.walk()方法用于在目录树种游走输出目录中的文件名。os.walk()方法是一个简单的文件、目录遍历器，可以帮助我们高效的处理文件、目录方面的事情。 在Unix,windows中有效。语法os.walk(top[, tp[down=True[, onerror=None[, followlinks=False)top -- 是你所遍历的目录地址，返回的是一个三元组(root,dirs,fi...
python 文件管理神器os.walk-文件指定日期整理程序
诡途的博客
08-05 8459
不吹不黑，os模块下的os.walk是真的好用
python os.walk()方法使用详解
热门推荐
林思少的博客
06-15 1万+
os.walk方法是python中帮助我们高效管理文件、目录的工具，在深度学习中数据整理应用的很频繁，如数据集的名称格式化、将数据集的按一定比例划分训练集train_set、测试集test_set。 1.导入文件（使用os.walk方法前需要导入以下包） import os import random # 后续用来将数据随机打乱和生成确定随机种子，保证每次生成的随机数据一样便于测试模型精准度 2.os.walk()参数解释 os.walk(top, topdown=True, οnerrοr=None,
python遍历文件夹下所有文件_PHP非递归遍历目录下所有文件
weixin_39891317的博客
12-06 253
上干货，直接看代码<?php /** * PHP 非递归实现查询该目录下所有文件 * @param unknown $dir * @return multitype:|multitype:string */ function scanfiles($dir) { if (! is_dir ( $dir )) return array (); // 兼容各操作系统 $dir...
Python列表不同遍历方式效率对比
铬天青S的药丸试验室
08-15 1万+
import time lst = [i for i in range(10000)] def count(function, times): start = time.time() for _ in range(times): function() print(time.time()-start) def index_find(): for ...
pthon基础 —— OS模块
Rainbow
03-18 666
os.walk() os.walk() 方法用于通过在目录树中游走输出在目录中的文件名，向上或者向下。 os.walk() 方法是一个简单易用的文件、目录遍历器，可以帮助我们高效的处理文件、目录方面的事情。 os.walk(top[, topdown=True[, None[, followlinks=False]]]) top – 是你所要遍历的目录的地址, 返回的是一个三元组(root,di...
python os.walk 指定遍历深度_使用python的os.walk()对目标路径进行遍历
weixin_39677106的博客
02-19 518
需求背景在使用python处理和扫描系统文件的过程中，经常要使用到目录或者文件遍历的功能，这里通过引入os.walk()的功能直接来实现这个需求。使用示例由于功能模块本身比较简单，这里直接提供一个简单示例供参考：# walker.pyimport osd = []f = []for root, dirs, files in os.walk('/home/dechin/projects/2021-p...
对于os.walk()的认识--python遍历文件执行相应操作
gongkeguo的博客
12-03 708
os.walk()的详细理解（秒懂） 这是个遍历文件夹的操作指令，有三个返回参数root, dirs, files。 root：就是你写的当前文件夹的绝对路径 dirs：当前文件夹下的子文件夹名组成的list files：返回当前文件夹所含的非文件夹文件，比如jpg或者png或者mp4文件 以族谱为例，遍历顺序是这样的： 第一次遍历： root：你爷爷的名字 dirs：你大伯，二大伯，你爸爸（老三）的名字（均育有儿女） files：你爷爷的那个不成器的没结婚的小儿子的名字（老四，你四叔） 第二次遍历： r
python中遍历列表的两种方式的异同
mrzrx的博客
03-09 3084
python中遍历列表的方式有两种，一种是for num in nums:，另一种是for i in range(len(nums)):。正常情况下使用没什么区别，但是如果在遍历过程中涉及到移除数组元素的操作时，发现了区别。如下： nums = [0,1,2,2,3,0,4,2] print('这是直接遍历列表，nums初始为：', nums) for num in nums: print...
python实现文件夹文件遍历及比对
xiaxuesong666的博客
11-07 4539
在读文件的时候往往需要遍历文件夹，python的os.path包含了很多文件、文件夹操作的方法。下面列出： os.path.abspath(path) #返回绝对路径 os.path.basename(path) #返回文件名 os.path.commonprefix(list) #返回多个路径中，所有path共有的最长的路径。 os.path.dirname(path) #返回文件路径
python和django的目录遍历漏洞
weixin_38023368的博客
09-04 419
攻击者通过请求 http://220.181.185.228/../../../../../../../../../etc/sysconfig/network-scripts/ifcfg-eth1 或类似URL，可跨目录读取系统敏感文件。 显然，这个漏洞是因为WebServer处理URL不当引入的。 我们感兴趣的是，这到底是不是一个通用WebServer的漏洞。 经分析验证，我们初步得出，这主要是由于开发人员在python代码中不安全地使用open函数引起，而且低版本的django自身也存在漏洞。 1
关于Python文件操作简述
ysds20211402的博客
04-18 1568
转自：微点阅读https://www.weidianyuedu.com 记录常用的文件写入、读取、文件、目录的操作。 1、文件写入 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 import time import random #打开模式列表： #w 以写方式打开， #a 以追加模式打开 (从 EOF 开始, 必要时创建新文件) #r+ 以读写...
Python 中用for 循环和range有几种方式遍历列表
06-10
Python 中用 `for` 循环和 `range` 可以有两种方式遍历列表： 1. 直接遍历列表中的元素，语法为： ```python for element in list: # 操作 element ``` 这种方式会依次将 `list` 中的每个元素赋值给 `element`，然后执行对应的操作。 2. 使用 `range()` 函数和下标遍历列表，语法为： ```python for i in range(len(list)): # 操作 list[i] ``` 这种方式会生成一个从 `0` 到 `len(list) - 1` 的整数序列，并将每个整数赋值给 `i`，然后通过 `list[i]` 访问对应的元素进行操作。 需要注意的是，在 Python 中还有其他方式遍历列表，比如使用 `enumerate()` 函数、使用迭代器等。以上两种方式只是其中的两种常见方式。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值