python上的字无效字符_如何在Python中替换字符串中的无效unicode字...

如果您有一个bytestring(未解码的数据),请使用’replace’错误处理程序.例如,如果您的数据(大部分)是UTF-8编码的,那么您可以使用：

decoded_unicode = bytestring.decode('utf-8', 'replace')

如果您想使用不同的替换字符,以后可以轻松替换这些字符：

decoded_unicode = decoded_unicode.replace(u'�', '#')

演示：

>>> bytestring = 'F\xc3\xb8\xc3\xb6\xbbB\xc3\xa5r'

>>> bytestring.decode('utf8')

Traceback (most recent call last):

File "", line 1, in

File "/Users/mjpieters/Development/venvs/stackoverflow-2.7/lib/python2.7/encodings/utf_8.py", line 16, in decode

return codecs.utf_8_decode(input, errors, True)

UnicodeDecodeError: 'utf8' codec can't decode byte 0xbb in position 5: invalid start byte

>>> bytestring.decode('utf8', 'replace')

u'F\xf8\xf6�B\xe5r'

>>> print bytestring.decode('utf8', 'replace')

F???B?r