去掉文件名中的特殊符号及中文

牛andmore牛

已于 2022-12-26 18:19:56 修改

阅读量1.4k

点赞数

分类专栏：杂项文章标签： python 去特殊符号

于 2022-11-15 13:46:23 首次发布

本文链接：https://blog.csdn.net/u011119817/article/details/127864226

版权

杂项专栏收录该内容

4 篇文章 0 订阅

订阅专栏

该博客介绍了如何使用Python代码来处理深度学习数据集中的文件名，去除包含的特殊符号和中文字符，仅保留数字、字母和下划线。通过正则表达式和os模块，对文件进行重命名，确保文件名只包含基本字符，并在遇到全大写后缀时将其转换为小写。这对于保持数据集的一致性和规范性至关重要。

摘要由CSDN通过智能技术生成

文章目录

做深度学习算法收集数据时，来源各种各样，导至文件名混有各种特殊符号，所在这里有一段代码，可以把文件名进行处理，只保留数字、字母和下划线，然后对文件进行重命名。

import os
import re
import random
import string 
from glob import glob 
from tqdm import tqdm 
def convert_filename(file_lists):
    """_summary_

    Args:
        file_lists (list ): file abs or relative path list 
    """
    
    for file  in tqdm(file_lists):
        basepath = os.path.dirname(file)
        basename = os.path.basename(file)
        name,suffix = os.path.splitext(basename)
        
        if len(re.findall('[\W\u4e00-\u9fa5]',name)): #中文及除数字字母下划线的符号
            newname = re.sub('[\W\u4e00-\u9fa5]','',name) # 这些特殊符号全部被删除
            if len(newname)==0: #所有符号全部都是特殊的，除去之后没有了,那就随机生成一个
                length=random.randint(3,10)
                letters = string.ascii_lowercase
                newname = ''.join(random.choice(letters) for i in range(length))
            newfilename=newname+suffix
            if newfilename.isupper(): #把文件名及后缀全部改成写，在图片中有jpg,又有JPG直的烦
                newfilename=newfilename.lower()
            print(f"old:{basename} new:{newfilename}")
            newpath = os.path.join(basepath,newfilename)
            os.rename(file,newpath)
        else:
            continue
fs = glob("data/*.jpg")
convert_filename(fs)