Python与Unicode：理解字符串和字符的表示

简介

在Python编程中，处理字符串和字符是常见的任务。为了正确地表示和操作这些字符，了解Unicode和Python对Unicode的支持至关重要。在这篇博客文章中，我们将探讨Unicode的概念以及如何在Python中使用Unicode。

Unicode概述

Unicode是一种用于表示字符的标准化编码系统。它的主要目标是为世界上所有字符提供一个统一的表示方式。Unicode使用整数（称为代码点）来表示字符，范围从0到0x10FFFF。这意味着Unicode可以表示多达1,111,998个不同的字符，包括拉丁字符、希腊字符、汉字、表情符号等。

与ASCII的区别

ASCII（美国标准代码信息交换）是一种较早的字符编码标准，仅定义了128个字符。ASCII仅包含控制字符、数字、小写字母和大写字母。然而，随着全球化的发展，我们需要表示更多的字符，例如带重音的字符、汉字和表情符号。这就是Unicode应运而生的原因。

Python与Unicode

在Python 2中，字符串以字节表示，而不是Unicode。Python提供了不同类型的字符串，如Unicode字符串、原始字符串等。要声明一个Unicode字符串，我们可以在字符串文字前加上u前缀。

s = 'Café'  # 字节字符串 
s 
'Caf\xc3\xa9'
type(s)
<type 'str'>
u = u'Café' # Unicode字符串 
u 
u'Caf\xe9'
type(u)
<type 'unicode'>

在Python 3中，字符串以Unicode表示。要表示一个字节字符串，我们可以在字符串文字前加上b前缀。注意，早期的Python 3版本（3.0-3.2）不支持u前缀。为了减轻从Python 2迁移到具有Unicode意识的应用程序的痛苦，Python 3.3重新支持了字符串文字的u前缀。有关详细信息，请参阅PEP 414。

s = 'Café'
type(s)
<class 'str'>
s 
'Café'
s.encode('utf-8')
b'Caf\xc3\xa9'
s.encode('utf-8').decode('utf-8')
'Café'

Unicode字符和字符串长度

在Python 2中，字符串中所有字符都被视为字节。因此，字符串的长度可能不等于字符的数量。例如，字符串“Café”的长度为5，而不是4，因为“é”被编码为一个2字节的字符。

s = 'Café'
print([_c for _c in s])
['C', 'a', 'f', '\xc3', '\xa9']
len(s)
5 
s = u'Café'
print([_c for _c in s])
['C', 'a', 'f', 'é']
len(s)
4 

在Python 3中，字符串以Unicode字符表示。因此，字符串的长度等于字符的数量。

s = 'Café'
print([_c for _c in s])
['C', 'a', 'f', 'é']
len(s)
4 

Unicode代码点

在Unicode中，每个字符由一个唯一的代码点表示。代码点是一个整数值，范围从0到0x10FFFF。我们可以使用ord()函数获取字符的Unicode代码点。

c = 'é'
ord(c)
233 

我们还可以使用chr()函数从代码点获取字符。

ord('é')
233 
chr(233)
'é'

Unicode属性

Python提供了一些函数来获取有关字符的信息。

c = 'é'
unicodedata.name(c)
'LATIN SMALL LETTER E WITH ACUTE'
unicodedata.category(c)
'Sk'
unicodedata.combining(c)
2 
unicodedata.decomposition(c)
'0301 0065'

实战应用场景

在实际项目中，无论是处理用户输入、读取文件、网络请求，还是数据库交互，都可能涉及Unicode编码。比如，从UTF-8编码的JSON文件中读取数据，应先将其内容解码成Unicode字符串：

with open('data.json', 'r', encoding='utf-8') as f:
    data = json.load(f)

同样，在向服务器发送HTTP请求时，确保参数已正确编码：

import requests
response = requests.post('http://example.com', data={'text': '你好'.encode('utf-8')})