Unicode/UTF-8 Python基础运用

简介:

        Unicode(一般指UTF-16)(统一码、万国码、单一码)是一种在计算机上使用的字符编码。它为每种语言中的每个字符设定了统一并且唯一的二进制编码,以满足跨语言、跨平台进行文本转换、处理的要求。1990年开始研发,1994年正式公布。随着计算机工作能力的增强,Unicode也在面世以来的十多年里得到普及,UTF系列已更新到UTF-32。

ASCII:

ASCII码是Unicode中代表英文和一些字符的一部分,内容如下:

具体解释

        最早只有127个字母被编码到计算机里,也就是大小写英文字母、数字和一些符号,这个编码表被称为ASCII编码,比如大写字母A的编码是65,小写字母z的编码是122。

但是要处理中文显然一个字节是不够的,至少需要两个字节,而且还不能和ASCII编码冲突,所以,中国制定了GB2312编码,用来把中文编进去。

你可以想得到的是,全世界有上百种语言,日本把日文编到Shift_JIS里,韩国把韩文编到Euc-kr里,各国有各国的标准,就会不可避免地出现冲突,结果就是,在多语言混合的文本中,显示出来会有乱码。

因此,Unicode应运而生。Unicode把所有语言都统一到一套编码里,这样就不会再有乱码问题了。

Unicode标准也在不断发展,但最常用的是用两个字节表示一个字符(如果要用到非常偏僻的字符,就需要4个字节)。现代操作系统和大多数编程语言都直接支持Unicode。

新的问题又出现了:如果统一成Unicode编码,乱码问题从此消失了。但是,如果你写的文本基本上全部是英文的话,用Unicode编码比ASCII编码需要多一倍的存储空间,在存储和传输上就十分不划算。

所以,本着节约的精神,又出现了把Unicode编码转化为“可变长编码”的UTF-8编码。UTF-8编码把一个Unicode字符根据不同的数字大小编码成1-6个字节,常用的英文字母被编码成1个字节,汉字通常是3个字节,只有很生僻的字符才会被编码成4-6个字节。如果你要传输的文本包含大量英文字符,用UTF-8编码就能节省空间。

UTF-8编码有一个额外的好处,就是ASCII编码实际上可以被看成是UTF-8编码的一部分,所以,大量只支持ASCII编码的历史遗留软件可以在UTF-8编码下继续工作。

归纳:

编码大小支持语言
ASCII1个字节英文
Unicode2个字节(生僻字4个)所有语言
UTF-81-6个字节,英文字母1个字节,汉字3个字节,生僻字4-6个字节所有语言

回关!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
在 Windows 平台下,可以使用 MultiByteToWideChar 和 WideCharToMultiByte 函数来完成 GB18030/UTF-8Unicode 编码之间的转换。 GB18030/UTF-8Unicode: ``` std::wstring utf8_to_wstring(const std::string& str) { int length = MultiByteToWideChar(CP_UTF8, 0, str.c_str(), -1, NULL, 0); wchar_t* buffer = new wchar_t[length]; MultiByteToWideChar(CP_UTF8, 0, str.c_str(), -1, buffer, length); std::wstring result(buffer); delete[] buffer; return result; } std::wstring gb_to_wstring(const std::string& str) { int length = MultiByteToWideChar(CP_ACP, 0, str.c_str(), -1, NULL, 0); wchar_t* buffer = new wchar_t[length]; MultiByteToWideChar(CP_ACP, 0, str.c_str(), -1, buffer, length); std::wstring result(buffer); delete[] buffer; return result; } ``` Unicode 转 GB18030/UTF-8: ``` std::string wstring_to_utf8(const std::wstring& str) { int length = WideCharToMultiByte(CP_UTF8, 0, str.c_str(), -1, NULL, 0, NULL, NULL); char* buffer = new char[length]; WideCharToMultiByte(CP_UTF8, 0, str.c_str(), -1, buffer, length, NULL, NULL); std::string result(buffer); delete[] buffer; return result; } std::string wstring_to_gb(const std::wstring& str) { int length = WideCharToMultiByte(CP_ACP, 0, str.c_str(), -1, NULL, 0, NULL, NULL); char* buffer = new char[length]; WideCharToMultiByte(CP_ACP, 0, str.c_str(), -1, buffer, length, NULL, NULL); std::string result(buffer); delete[] buffer; return result; } ``` 需要注意的是,GB18030/UTF-8Unicode 时,使用的是 CP_UTF8 编码;Unicode 转 GB18030/UTF-8 时,使用的是 CP_ACP 编码。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值