如题,很简单,就是先用chardet 库识别文件编码,解码之后再输出成目标编码。算是个偶尔能用上的小工具,要用的时候万一没有就很难受的那种,比如,网上下载了别人的项目文件,一打开全是乱码……
代码
加了比较详细的注释~~ 看懂的要求应该不高,平时用过Python,知道几个常用库就行。
from pathlib import Path
import chardet
import re
def text_file_encoding_convert(f: Path, target_encoding: str, *, dry_run=False) -> (bool, str, float):
''' 转换单个文件到目标编码
@param f 文件路径
@param target_encoding 目标编码,比如urf-8
@param dry_run 为True 时不实际修改源文件
@return 返回三个值分别为(是否成功,估计的源文件编码,估计的把握)
'''
target_encoding = target_encoding.lower() # python 的标准编码名称都是小写
raw = f.read_bytes()
result = chardet.detect(raw)
encoding = result["encoding"].lower() # chardet 估计出来的编码名称
confidence = result["confidence"] # 估计的把握
flag = True
# 下面的单次for 循环用来避免重复写return 语句,break 后统一跳到最后return
for _d( ̄_ ̄)b_ in (1,):
if encoding == target_encoding or encoding == "ascii" and target_encoding == "utf-8":
# 目标编码和源编码相同时不用做处理。utf-8 编码和ASCII 兼容,原编码为ASCII 时转换到utf-8 不会有变化,所以也跳过
print(f"-> [NO CONVERSION NEEDED] {f.name}: {encoding} ==> [ {target_encoding} ]")
break
try:
text = raw.decode(encoding)
except:
print(f"!> Encoding err: {f.name}, detected: {encoding}, {confidence}.")
flag = False
break
if dry_run:
print(f"-> [ NO WET ] {f.name}: {encoding} ==> [ {target_encoding} ]")
else:
# 必须先用目标编码转换成字节数组,然后按字节写入源文件
# 如果按文本方式写入,就会遇到喜闻乐见的CR LF 换行问题,
# 源文件中的CR LF 换行会被自动变成CR CR LF,也就是多了一堆空行。
out = text.encode(target_encoding)
f.write_bytes(out)
print(f"-> {f.name}: {encoding} ==> [ {target_encoding} ]")
return (flag, encoding, confidence)
def text_file_encoding_batch_convert(
folder: Path,
target_encoding: str,
*,
dry_run=True,
recursive=False,
pattern=".*(c|h|txt|cxx|cpp|hpp|hxx|csv|asm)$",
skip_when_error=True,
):
''' 批量转换一个目录下文本文件的编码
Python学习交流群 872937351
@param folder 目标目录
@param target_encoding 目标编码
@param dry_run 不实际修改源文件,避免手滑写错
@param recursive 包括所有子文件夹下的文件
@param pattern 基于文件名筛选文本文件的正则表达式,默认根据后缀筛选几种文本类型
@param skip_when_error 默认True,单个文件转换出错时提示并跳过,否则终止
'''
if recursive:
flist = folder.rglob("*")
else:
flist = folder.glob("*")
p = re.compile(pattern) # 把正则编译了,之后应该能快一点
for f in flist:
if not (f.is_file() and p.match(f.name)):
continue
ok, encoding, confidence = text_file_encoding_convert(f, target_encoding, dry_run=dry_run)
if not ok:
if skip_when_error:
print("!> SKIP.")
else:
print("!> ABORT.")
return
用法
既然是批量转换文件,只调用第二个函数就好了,如下:
folder = Path(r"D:\Downloads\Some shit\\")
text_file_encoding_batch_convert(folder, "utf-8", recursive=True)
目标目录为D:\Downloads\Some shit\,放进一个Path 对象里,作为第一个参数传进去。第二个参数是目标编码,第三个参数必须写明参数名称recursive,用来指定要不要遍历子文件夹,默认是False,为了避免意外情况。直接这么运行的话,输出的信息应该类似这样:
-> [NO WET] main.c : gb2312 ⇒ utf-8
[NO WET] 意思就是DRY [doge],也就是没有实际修改源文件,只是让你大致看看输出信息对不对劲,实际运行的话再加一个参数:
text_file_encoding_batch_convert(folder, "utf-8", recursive=True, dry_run=False)
顺便一说,输出信息都是英文的,因为大伙应该都遇到过控制台输出中文乱码的问题,反正也没几个单词。剩下两个参数,skip_when_error 放着别管就行,没什么用;pattern 是匹配文件名的正则表达式,只有匹配的文件会被处理,可以自己设置;默认的正则只匹配了几种容易遇到乱码问题的文本文件,匹配的太多了也可能错杀,需要的话往括号里加就行。
对了,上面的代码和这篇文章一样,使用 CC - BY SA 4.0 协议。
学习资源推荐
除了上述分享,学好 Python 不论是就业还是做副业赚钱都不错,但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料,给那些想学习 Python 的小伙伴们一点帮助!
包括:Python激活码+安装包、Python web开发,Python爬虫,Python数据分析,人工智能、自动化办公等学习教程。带你从零基础系统性的学好Python!
👉Python所有方向的学习路线👈
Python所有方向路线就是把Python常用的技术点做整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。(全套教程文末领取)
👉Python学习视频600合集👈
观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
温馨提示:篇幅有限,已打包文件夹,获取方式在:文末
👉Python70个实战练手案例&源码👈
光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
👉Python大厂面试资料👈
我们学习Python必然是为了找到高薪的工作,下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料,并且有阿里大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。
👉Python副业兼职路线&方法👈
学好 Python 不论是就业还是做副业赚钱都不错,但要学会兼职接单还是要有一个学习规划。
👉 这份完整版的Python全套学习资料已经上传,朋友们如果需要可以V扫描下方二维码联系领取
【保证100%免费
】
![](https://i-blog.csdnimg.cn/blog_migrate/b41f75729473071168ec407b6d344d9b.jpeg)