要点:
1. 选定了Notepad3使用的魔改版uchardet,精度比原版uchardet更高!
2. 该 App作者增加软件界面,方便批量转换和有关设置。
win os 绿色软件。 x64
-----------------------------------------------------------------
关联:
1. uchardet
debian 仓库:https://gitlab.freedesktop.org/uchardet/uchardet
https://www.freedesktop.org/wiki/Software/uchardet/
参考:CharsetDetector / UTF-unknown
https://github.com/CharsetDetector/UTF-unknown
这个工具下载:https://download.csdn.net/download/ken2232/88435213
-----------------------------------------------------------------
Installation
Debian/Ubuntu/Mint
apt-get install uchardet libuchardet-dev
=====================================
特别优点
字符集探测是著名的老大难问题,就是说,怎样在不知道字符编码的情况下,探测出文本是什么编码,什么字符集。这个问题很难。
所以,你看到的绝大多数转字符集的程序,都是GBK->UTF-8,GBK->BIG5,这种,必须要你提前知道你的文本是什么编码,否则就会乱码。而且,转过一次的文本,再转一次,也会乱码。
我在对比了诸多字符集探测库之后,选定了Notepad3使用的魔改版uchardet,这个魔改版uchardet经过Notepad3作者精心调教,精度比原版uchardet更高!
虽然不能说做到百分百地把字符集探测正确,但正确率也是非常高的!具体多高你试试就知道了。
也正因为解决了字符集探测这个最大的问题,所以上面提到的这些“传统转码程序”的问题,在本程序中通通都不存在!不用管你原来是什么字符集,你只说你要什么就行啦!
智能编码集转换器
本程序用于自动识别文件夹下所有文本文件,自动识别原编码(不必担心反复转码出错了),批量转换到UTF-8等字符集。
功能:
- 批量转UTF-8/UTF-8-sig/GB18030等
- 批量转CRLF/LF/CR换行符
运行要求:
- Win10 x64
- Win7 x64(理论上可以,没尝试)
Reference
本程序已开源:https://github.com/tomwillow/SmartCharsetConverter
下载地址:https://github.com/tomwillow/SmartCharsetConverter/releases
下载地址2:链接:https://pan.baidu.com/s/1RF8rM__QH6ceCjYP1UeaPQ?pwd=rvv5
提取码:rvv5
转载:https://zhuanlan.zhihu.com/p/585163944