原始地址:https://dev.to/methane/python-use-utf-8-mode-on-windows-212i
概述:设置PYTHONUTF8=1环境变量。
在 macOS 和 Linux 上,UTF-8 已经成为标准编码。
但是 Windows 仍然使用传统编码(例如 cp1252,cp932 等)作为系统编码。
Python 在处理文件名和控制台IO方面非常出色(例如使用 ~W 的APIs)。但是,在文本文件和管道的默认编码上,仍然使用了传统的系统编码。
很常见的一个错误是忽略了 encoding="utf-8" 选项。使用 macOS 或 Linux 的开发人员不会因此而遇到任何问题。
例如,即使 packaging.python.org 上的打包教程也使用了这段代码:
with open("README.md", "r") as fh:
long_description = fh.read()
当 README.md 包含一些非ASCII字符(例如 Unicode 表情符号)时,setup.py 在 Windows 上将会失败。当没有提供whl文件时,Windows 用户将无法安装该包。(我已经发了一个拉取请求来修复这个示例代码。)
我相信很多 Python 程序员都为 Windows 上的默认文本文件编码而苦恼,因为:
- Python 源代码的默认编码是 UTF-8
- UTF-8 是 Web 的标准编码
- 像 VS Code 这样的现代文本编辑器默认使用 UTF-8。甚至记事本 notepad.exe 也选择了 UTF-8 作为默认编码!
但是更改文本文件的默认编码是困难的,因为这是向后不兼容的更改。这将破坏一些依赖于传统编码的旧应用程序。
但是有个好消息:Python 3.7 引入了“UTF-8 模式”。(感谢 Victor Stinner!)
当启用 UTF-8 模式时,Python 使用 UTF-8 作为文本文件的默认编码,而不是系统编码。
你可以像在 macOS 和 Linux 上一样,生活在“UTF-8 是默认值,只有在明确指定时才使用其他传统编码”的世界中。
要启用 UTF-8 模式:
- 设置环境变量 PYTHONUTF8=1,或者
- 使用 -Xutf8 命令行选项。