python打包成exe后运行出现UnicodeDecodeError的问题
事情是这样的,我用python写了一个脚本,这个脚本需要从控制台传入参数,而且可能会含有中文。脚本写完之后运行完全ok:
所以我直接用pyinstaller打包成了exe文件,控制台运行也完全没问题。
但是在用c#或者python执行这个exe的时候却出现了UnicodeDecodeError
的问题:
import subprocess
p = subprocess.Popen('my_trans.exe zh jp 张三 baidu', shell=False, stdout=subprocess.PIPE)
out, err = p.communicate()
for line in out.splitlines():
print(line.decode("UTF-8"))
起初我认为是参数编码的问题,所以我尝试了很多方案,比如:将参数编码之后传入,程序里做解码。
很遗憾,行不通,虽然不知道为什么,从原理上来说将参数编码之后应该是不会存在这个问题才对。
尝试未果之后,一顿百度,几乎全是加 #-*- coding: utf-8 -*-
的这种方式,我也尝试了一下,也没抱太大的希望,因为这个只是声明文件的编码,防止中文乱码而已,如我所料,依旧不行。
网上一大片的人说可以使用下面的方法临时改一下系统编码:
import sys
reload(sys)
sys.setdefaultencoding("utf-8")
这种方式感觉应该是可行的,可是不管怎么着sys没有setDefaultencoding这个方法你敢信?我搜索python3改默认的编码问题,查到的结果居然还是这种方式。还是一个劲儿的查,调试,查,调试,最后发现程序在print中文参数的时候居然都出现了UnicodeDecodeError
。
所以从这个方向继续查了之后,终于搜到了一篇靠谱的博客,这里先道个歉,因为我刚想回去找这篇博客但是没找到,所以没法将他的博客地址分享给大家。
解决输出乱码的代码是这个:
sys.stdout = io.TextIOWrapper(sys.stdout.buffer, encoding="utf-8")
这句代码能解决输出参数UncodeDecodeError的问题,那么我的问题实际上是输入参数的问题,所以我又尝试加上了下面的代码:
sys.stdin = io.TextIOWrapper(sys.stdin.buffer, encoding="utf-8")
然后,问题迎刃而解。
现在来分析的话实际上我觉得原理应该是这样的,首先输入参数的编码应该是由控制台决定,所以不管是用控制台执行exe还是py文件可能都是使用的系统编码UTF8,但是程序在接收参数的时候可能使用的Unicode编码进行接受,涉及到编码转换的问题所以出现了UnicodeDecodeError
。而这两行代码指定输入和输出的编码为UTF8,所以统一编码之后自然就不存在这个问题了。
以上就是本次找Bug的一个笔记了,耗时两天。希望看到的人不要迷路,欢迎大家留言探讨!