如何使用python 对文件夹中的多个文本类型进行预处理

在Python中预处理文件夹内的多个文本文件通常包括以下步骤：读取文件、清洗文本（如去除标点符号、数字等）、分词、转换为小写等。以下是一个简单的示例，展示如何使用Python完成这些任务：
读取文件夹中的所有文本文件：使用os.listdir()和os.path.join()函数来获取文件夹中所有文本文件的路径。
读取并清洗文本：对于每个文件，打开并读取内容，然后进行必要的清洗，如去除标点符号、数字或转换为小写。
文本预处理：根据需要，进行分词、去除停用词、词干提取等操作。
保存或处理结果：可以将预处理后的文本保存到新的文件或进行进一步的分析。
下面是一个代码示例：

import os
import string
# 文件夹路径
folder_path = 'path/to/your/folder'
# 获取所有文本文件
files = [f for f in os.listdir(folder_path) if f.endswith('.txt')]
# 遍历文件
for file in files:
    file_path = os.path.join(folder_path, file)
    with open(file_path, 'r', encoding='utf-8') as f:
        text = f.read()
        
    # 清洗文本：去除标点符号和数字，转换为小写
    cleaned_text = ''.join([char for char in text if char not in string.punctuation and not char.isdigit()]).lower()
    
    # 这里