最近在使用django的过程中,发现之前对中文编码的理解并不怎么正确,在此记录一下。
1.在所有需要显式使用中文的地方加上#-*- coding: UTF-8 -*-标识,(包括注释中的中文和代码中字符串的中文)
2.django在db中存储的数据是经过encode的,但是通过模型取出的数据,是经过decode的。
3.python中在进行字符串连接的时候,必须保证所有的子字符串编码或者未编码一致
OK,先从最简单的赋值开始。如下代码:
#!/usr/bin/python
#-*- coding: UTF-8 -*-
import logging
logging.basicConfig(level=logging.DEBUG,
format='%(asctime)s %(levelname)s %(message)s',
filename='log.txt',
filemode='a+')
x = '我爱你'
logging.info(x)
print x
输出是:
我爱你
log.txt中的结果是:
2010-06-25 17:50:51,019 INFO 我爱你
x是未经过decode的,所以在print的时候,系统会自动根据编码格式判断来输出中文。
这里其实也引申出一个原则,当你进行print,写入文件,调用系统命令(命令的参数需要中文)等系统相关的操作的时候,将字符串encode;当从文件中把内容取出来的时候,马上decode。也就是说,在程序逻辑中,操作的字符串都应该是decode过的。
OK,我们做第二个实验
#!/usr/bin/python
#-*- coding: UTF-8 -*-
import logging
logging.basicConfig(level=logging.DEBUG,
format='%(asctime)s %(levelname)s %(message)s',
filename='log.txt',
filemode='a+')
x = '我爱你'
logging.info(x.decode('utf-8'))
print x.decode('utf-8')
此时print调用会报错:
1.py|11| UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-2: ordinal not in range(128)
而log调用仍然成功:
2010-06-25 17:55:05,868 INFO 我爱你
print的结果是在意料之中的,但是log的结果却是令人惊讶,猜测是log类在写入文件之前判断了内容的编码/解码,然后进行了encode之后写入。
下面是第三个,即如果组成字符串的子字符串编码/解码不一样,会怎样:
#!/usr/bin/python
#-*- coding: UTF-8 -*-
import logging
logging.basicConfig(level=logging.DEBUG,
format='%(asctime)s %(levelname)s %(message)s',
filename='log.txt',
filemode='a+')
x = '我爱你'
y = '真的'
cmd = "1 %s %s" % (x,y)
print cmd
cmd = "2 %s %s" % (x.decode('utf-8'),y.decode('utf-8'))
print cmd.encode('utf-8')
cmd = "3 %s %s" % (x,y.decode('utf-8'))
print cmd
输出如下:
|| 1 我爱你 真的
|| 2 我爱你 真的
|| Traceback (most recent call last):
1.py|17| UnicodeDecodeError: 'ascii' codec can't decode byte 0xe6 in position 2: ordinal not in range(128)
其实第三个实验就是我在django的使用中遇到的问题,从django中用MVC模型取出的数据是经过了decode之后的,但是其他的本地变量数据却是没有经过任何decode的,导致一直报错。