Python训练营打卡Day24-CSDN博客

本文链接：https://blog.csdn.net/m0_70431145/article/details/147934175

DAY 24 元组和OS模块
知识点回顾：
1.元组
2.可迭代对象
3.os模块

作业：对自己电脑的不同文件夹利用今天学到的知识操作下，理解下os路径。

@浙大疏锦行

1.元组

元组的特点：

有序，可以重复，这一点和列表一样
元组中的元素不能修改，这一点非常重要，深度学习场景中很多参数、形状定义好了确保后续不能被修改。

很多流行的 ML/DL 库（如 TensorFlow, PyTorch, NumPy）在其 API 中都广泛使用了元组来表示形状、配置等。

可以看到，元组最重要的功能是在列表之上，增加了不可修改这个需求

#元组的创建
my_tuple1 = (1, 2, 3)
my_tuple2 = ('a', 'b', 'c')
my_tuple3 = (1, 'hello', 3.14, [4, 5]) # 可以包含不同类型的元素
print(my_tuple1)
print(my_tuple2)
print(my_tuple3)
# 可以省略括号
my_tuple4 = 10, 20, 'thirty' # 逗号是关键
print(my_tuple4)
print(type(my_tuple4)) # 看看它的类型
元组的常见用法
# 元组的索引
my_tuple = ('P', 'y', 't', 'h', 'o', 'n')
print(my_tuple[0])  # 第一个元素
print(my_tuple[2])  # 第三个元素
print(my_tuple[-1]) # 最后一个元素
# 元组的切片
my_tuple = (0, 1, 2, 3, 4, 5)
print(my_tuple[1:4])  # 从索引 1 到 3 (不包括 4)
print(my_tuple[:3])   # 从开头到索引 2
print(my_tuple[3:])   # 从索引 3 到结尾
print(my_tuple[::2])  # 每隔一个元素取一个
# 元组的长度获取
my_tuple = (1, 2, 3)
print(len(my_tuple))

管道工程中pipeline类接收的是一个包含多个小元组的列表作为输入。

可以这样理解这个结构：

列表 []: 定义了步骤执行的先后顺序。Pipeline 会按照列表中的顺序依次处理数据。之所以用列表，是未来可以对这个列表进行修改。
元组 (): 用于将每个步骤的名称和处理对象捆绑在一起。名称用于在后续访问或设置参数时引用该步骤，而对象则是实际执行数据转换或模型训练的工具。固定了操作名+操作

2.可迭代对象

可迭代对象 (Iterable) 是 Python 中一个非常核心的概念。简单来说，一个可迭代对象就是指那些能够一次返回其成员（元素）的对象，让你可以在一个循环（比如 for 循环）中遍历它们。

Python 中有很多内置的可迭代对象，目前我们见过的类型包括：

序列类型 (Sequence Types):
- list (列表)
- tuple (元组)
- str (字符串)
- range (范围)
集合类型 (Set Types):
- set (集合)
字典类型 (Mapping Types):
- dict (字典) - 迭代时返回键 (keys)
文件对象 (File objects)
生成器 (Generators)
迭代器 (Iterators) 本身

3.os模块

随着深度学习项目变得越来越大、数据量越来越多、代码结构越来越复杂，会越来越频繁地用到 os 模块来管理文件、目录、路径，以及进行一些基本的操作系统交互。虽然深度学习的核心在于模型构建和训练，但数据和模型的有效管理是项目成功的关键环节，而 os 模块为此提供了重要的工具。

在简单的入门级项目中，可能只需要使用 pd.read_csv() 加载数据，而不需要直接操作文件路径。但是，当开始处理图像数据集、自定义数据加载流程、保存和加载复杂的模型结构时，os 模块就会变得非常有用。

好的代码组织和有效的文件管理是大型深度学习项目的基石。os 模块是实现这些目标的重要组成部分。
获取当前工作目录

os.getcwd() # get current working directory 获取当前工作目录的绝对路径

获取当前工作目录下的文件列表

os.listdir() # list directory 获取当前工作目录下的文件列表

#    我们使用 r'' 原始字符串，这样就不需要写双反斜杠 \\，因为\会涉及到转义问题
path_a = r'C:\Users\YourUsername\Documents' # r''这个写法是写给python解释器看，他只会读取引号内的内容，不用在意r的存在会不会影响拼接
path_b = 'MyProjectData'
file = 'results.csv'
 
# 使用 os.path.join 将它们安全地拼接起来，os.path.join 会自动使用 Windows 的反斜杠 '\' 作为分隔符
file_path = os.path.join(path_a , path_b, file)
 
file_path

目录树
os.walk() 是 Python os 模块中一个非常有用的函数，它用于遍历（或称“行走”）一个目录树。

核心功能：

os.walk(top, topdown=True, οnerrοr=None, followlinks=False) 会为一个目录树生成文件名。对于树中的每个目录（包括 top 目录本身），它会 yield（产生）一个包含三个元素的元组 (tuple)：

(dirpath, dirnames, filenames)

dirpath: 一个字符串，表示当前正在访问的目录的路径。
dirnames: 一个列表（list），包含了 dirpath 目录下所有子目录的名称（不包括 . 和 …）。
filenames: 一个列表（list），包含了 dirpath 目录下所有非目录文件的名称。

遍历顺序：

os.walk 会首先访问起始目录 (my_project)，然后它会选择第一个子目录 (data) 并深入进去，访问 data 目录本身，然后继续深入它的子目录 (processed -> raw)。只有当 data 分支下的所有内容都被访问完毕后，它才会回到 my_project 这一层，去访问下一个子目录 (src)，并对 src 分支重复深度优先的探索。

它不是按层级（先访问所有第一层，再访问所有第二层）进行的，而是按分支深度进行的。这种策略被称之为深度优先

import os
 
start_directory = os.getcwd() # 假设这个目录在当前工作目录下
 
print(f"--- 开始遍历目录: {start_directory} ---")
 
for dirpath, dirnames, filenames in os.walk(start_directory):
    print(f"  当前访问目录 (dirpath): {dirpath}")
    print(f"  子目录列表 (dirnames): {dirnames}")
    print(f"  文件列表 (filenames): {filenames}")