Python字符串和编码

最新推荐文章于 2024-09-18 20:39:31 发布
最新推荐文章于 2024-09-18 20:39:31 发布
阅读量274 收藏
点赞数
分类专栏： Python 文章标签： python
字符串和编码
阅读: 891756

字符编码

我们已经讲过了，字符串也是一种数据类型，但是，字符串比较特殊的是还有一个编码问题。

因为计算机只能处理数字，如果要处理文本，就必须先把文本转换为数字才能处理。最早的计算机在设计时采用8个比特（bit）作为一个字节（byte），所以，一个字节能表示的最大的整数就是255（二进制11111111=十进制255），如果要表示更大的整数，就必须用更多的字节。比如两个字节可以表示的最大整数是65535，4个字节可以表示的最大整数是4294967295。

由于计算机是美国人发明的，因此，最早只有127个字符被编码到计算机里，也就是大小写英文字母、数字和一些符号，这个编码表被称为ASCII编码，比如大写字母A的编码是65，小写字母z的编码是122。

但是要处理中文显然一个字节是不够的，至少需要两个字节，而且还不能和ASCII编码冲突，所以，中国制定了GB2312编码，用来把中文编进去。

你可以想得到的是，全世界有上百种语言，日本把日文编到Shift_JIS里，韩国把韩文编到Euc-kr里，各国有各国的标准，就会不可避免地出现冲突，结果就是，在多语言混合的文本中，显示出来会有乱码。

char-encoding-problem

因此，Unicode应运而生。Unicode把所有语言都统一到一套编码里，这样就不会再有乱码问题了。

Unicode标准也在不断发展，但最常用的是用两个字节表示一个字符（如果要用到非常偏僻的字符，就需要4个字节）。现代操作系统和大多数编程语言都直接支持Unicode。

现在，捋一捋ASCII编码和Unicode编码的区别：ASCII编码是1个字节，而Unicode编码通常是2个字节。

字母A用ASCII编码是十进制的65，二进制的01000001；

字符0用ASCII编码是十进制的48，二进制的00110000，注意字符'0'和整数0是不同的；

汉字中已经超出了ASCII编码的范围，用Unicode编码是十进制的20013，二进制的01001110 00101101。

你可以猜测，如果把ASCII编码的A用Unicode编码，只需要在前面补0就可以，因此，A的Unicode编码是00000000 01000001。

新的问题又出现了：如果统一成Unicode编码，乱码问题从此消失了。但是，如果你写的文本基本上全部是英文的话，用Unicode编码比ASCII编码需要多一倍的存储空间，在存储和传输上就十分不划算。

所以，本着节约的精神，又出现了把Unicode编码转化为“可变长编码”的UTF-8编码。UTF-8编码把一个Unicode字符根据不同的数字大小编码成1-6个字节，常用的英文字母被编码成1个字节，汉字通常是3个字节，只有很生僻的字符才会被编码成4-6个字节。如果你要传输的文本包含大量英文字符，用UTF-8编码就能节省空间：

字符ASCIIUnicodeUTF-8
A0100000100000000 0100000101000001
中x01001110 0010110111100100 10111000 10101101

从上面的表格还可以发现，UTF-8编码有一个额外的好处，就是ASCII编码实际上可以被看成是UTF-8编码的一部分，所以，大量只支持ASCII编码的历史遗留软件可以在UTF-8编码下继续工作。

搞清楚了ASCII、Unicode和UTF-8的关系，我们就可以总结一下现在计算机系统通用的字符编码工作方式：

在计算机内存中，统一使用Unicode编码，当需要保存到硬盘或者需要传输的时候，就转换为UTF-8编码。

用记事本编辑的时候，从文件读取的UTF-8字符被转换为Unicode字符到内存里，编辑完成后，保存的时候再把Unicode转换为UTF-8保存到文件：

rw-file-utf-8

浏览网页的时候，服务器会把动态生成的Unicode内容转换为UTF-8再传输到浏览器：

web-utf-8

所以你看到很多网页的源码上会有类似<meta charset="UTF-8" />的信息，表示该网页正是用的UTF-8编码。

Python的字符串

搞清楚了令人头疼的字符编码问题后，我们再来研究Python的字符串。

在最新的Python 3版本中，字符串是以Unicode编码的，也就是说，Python的字符串支持多语言，例如：

>>> print('包含中文的str')
包含中文的str

对于单个字符的编码，Python提供了ord()函数获取字符的整数表示，chr()函数把编码转换为对应的字符：

>>> ord('A')
65
>>> ord('中')
20013
>>> chr(66)
'B'
>>> chr(25991)
'文'

如果知道字符的整数编码，还可以用十六进制这么写str：

>>> '\u4e2d\u6587'
'中文'

两种写法完全是等价的。

由于Python的字符串类型是str，在内存中以Unicode表示，一个字符对应若干个字节。如果要在网络上传输，或者保存到磁盘上，就需要把str变为以字节为单位的bytes。

Python对bytes类型的数据用带b前缀的单引号或双引号表示：

x = b'ABC'

要注意区分'ABC'和b'ABC'，前者是str，后者虽然内容显示得和前者一样，但bytes的每个字符都只占用一个字节。

以Unicode表示的str通过encode()方法可以编码为指定的bytes，例如：

>>> 'ABC'.encode('ascii')
b'ABC'
>>> '中文'.encode('utf-8')
b'\xe4\xb8\xad\xe6\x96\x87'
>>> '中文'.encode('ascii')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)

纯英文的str可以用ASCII编码为bytes，内容是一样的，含有中文的str可以用UTF-8编码为bytes。含有中文的str无法用ASCII编码，因为中文编码的范围超过了ASCII编码的范围，Python会报错。

在bytes中，无法显示为ASCII字符的字节，用\x##显示。

反过来，如果我们从网络或磁盘上读取了字节流，那么读到的数据就是bytes。要把bytes变为str，就需要用decode()方法：

>>> b'ABC'.decode('ascii')
'ABC'
>>> b'\xe4\xb8\xad\xe6\x96\x87'.decode('utf-8')
'中文'

要计算str包含多少个字符，可以用len()函数：

>>> len('ABC')
3
>>> len('中文')
2

len()函数计算的是str的字符数，如果换成bytes，len()函数就计算字节数：

>>> len(b'ABC')
3
>>> len(b'\xe4\xb8\xad\xe6\x96\x87')
6
>>> len('中文'.encode('utf-8'))
6

可见，1个中文字符经过UTF-8编码后通常会占用3个字节，而1个英文字符只占用1个字节。

在操作字符串时，我们经常遇到str和bytes的互相转换。为了避免乱码问题，应当始终坚持使用UTF-8编码对str和bytes进行转换。

由于Python源代码也是一个文本文件，所以，当你的源代码中包含中文的时候，在保存源代码时，就需要务必指定保存为UTF-8编码。当Python解释器读取源代码时，为了让它按UTF-8编码读取，我们通常在文件开头写上这两行：

#!/usr/bin/env python3
# -*- coding: utf-8 -*-

第一行注释是为了告诉Linux/OS X系统，这是一个Python可执行程序，Windows系统会忽略这个注释；

第二行注释是为了告诉Python解释器，按照UTF-8编码读取源代码，否则，你在源代码中写的中文输出可能会有乱码。

申明了UTF-8编码并不意味着你的.py文件就是UTF-8编码的，必须并且要确保文本编辑器正在使用UTF-8 without BOM编码：

set-encoding-in-notepad++

如果.py文件本身使用UTF-8编码，并且也申明了# -*- coding: utf-8 -*-，打开命令提示符测试就可以正常显示中文：

py-chinese-test-in-cmd

格式化

最后一个常见的问题是如何输出格式化的字符串。我们经常会输出类似'亲爱的xxx你好！你xx月的话费是xx，余额是xx'之类的字符串，而xxx的内容都是根据变量变化的，所以，需要一种简便的格式化字符串的方式。

py-str-format

在Python中，采用的格式化方式和C语言是一致的，用%实现，举例如下：

>>> 'Hello, %s' % 'world'
'Hello, world'
>>> 'Hi, %s, you have $%d.' % ('Michael', 1000000)
'Hi, Michael, you have $1000000.'

你可能猜到了，%运算符就是用来格式化字符串的。在字符串内部，%s表示用字符串替换，%d表示用整数替换，有几个%?占位符，后面就跟几个变量或者值，顺序要对应好。如果只有一个%?，括号可以省略。

常见的占位符有：

%d整数
%f浮点数
%s字符串
%x十六进制整数

其中，格式化整数和浮点数还可以指定是否补0和整数与小数的位数：

>>> '%2d-%02d' % (3, 1)
' 3-01'
>>> '%.2f' % 3.1415926
'3.14'

如果你不太确定应该用什么，%s永远起作用，它会把任何数据类型转换为字符串：

>>> 'Age: %s. Gender: %s' % (25, True)
'Age: 25. Gender: True'

有些时候，字符串里面的%是一个普通字符怎么办？这个时候就需要转义，用%%来表示一个%：

>>> 'growth rate: %d %%' % 7
'growth rate: 7 %'

练习

小明的成绩从去年的72分提升到了今年的85分，请计算小明成绩提升的百分点，并用字符串格式化显示出'xx.x%'，只保留小数点后1位：

# -*- coding: utf-8 -*-

s1 = 72
s2 = 85

小结

Python 3的字符串使用Unicode，直接支持多语言。

str和bytes互相转换时，需要指定编码。最常用的编码是UTF-8。Python当然也支持其他编码方式，比如把Unicode编码成GB2312：

>>> '中文'.encode('gb2312')
b'\xd6\xd0\xce\xc4'

但这种方式纯属自找麻烦，如果没有特殊业务要求，请牢记仅使用UTF-8编码。

格式化字符串的时候，可以用Python的交互式命令行测试，方便快捷。

参考源码

the_string.py

感觉本站内容不错，读后有收获？

我要小额赞助，鼓励作者写出更好的教程

还可以分享给朋友

评论

  • 终于写出来 感觉好友成就感！
    危小博 created at 7-5 16:24, Last updated at 2小时前 
    # -*- coding: utf-8 -*-
a = int(input("please input your last score"))
print('your last score:',a)
b = int(input("please input your this year \'s score"))
print('this year\'s score:',b)
c = b - a
r =(c / a) *100
z = '%.1f'%r
print('your increas rate : ',z,'%')
    • Jew47
      Created at 5天前, Last updated at 5天前

      a = int(input("Please enter you grade,last year:"))b = int(input("Please enter you grade:"))s = (b-a)/a*100print("growth rate:%s" % s+'%')四行的代码为什么要写8行

    • 剑圣喵哥
      Created at 2小时前, Last updated at 2小时前

      三行就行

      s1 = int(input('请输入小明小明去年的成绩：'))
s2 = int(input('请输入今年的成绩：'))
print('小明成绩提升的百分点r = %.1f%%' %((s2-s1)/s1*100))
    • View Full Discuss   Reply This Topic
  • 为什么改了个形式就闪退了TT
    -二四六七八- created at 7-4 14:06, Last updated at 21小时前 
    
s1=input('请输入去年成绩：')
s2=input('请输入今年成绩：')

r=(s2-s1)/s1*100

print('\n成绩提升了:%.1f%%'%r)

    自己觉得好玩改了个形式，手动输入成绩的时候就运行不了了

    哪里出问题？

    • Annie捏捏
      Created at 7-4 15:59, Last updated at 7-4 15:59

      我试过了，因为s1=input('请输入去年成绩：')这个语句里s1类型就变成了字符串了，然后s2-21就会提示TypeError: unsupported operand type(s) for -: 'str' and 'str'

      添加语句：s1=int(s1,10)s2=int(s2,10)然后再执行 就可以了

    • Annie捏捏
      Created at 7-4 16:00, Last updated at 7-4 16:00

      上面写错了，是s2-s1提示错误

    • -二四六七八-
      Created at 7-4 17:44, Last updated at 7-4 17:44

      哈哈是的~看到后面两章节发现是这个问题了~谢谢

    • -二四六七八-
      Created at 7-4 17:46, Last updated at 7-4 17:46

      我是添加语句：s1=int(s1)s2=int(s2)

      后面的10是什么作用？

    • 东方神隐
      Created at 7-5 10:10, Last updated at 7-5 10:10

      int(a,10)10是一个参数，表示转换成十进制int(a,2)就是转化为二进制

    • 东方神隐
      Created at 7-5 10:11, Last updated at 7-5 10:11

      如果没有这个参数，缺省值是10，默认转化为十进制

    • Marvelous-zz
      Created at 21小时前, Last updated at 21小时前

      用eval(input())，因为你输入的是字符串，你要将字符串转化为数字eval()这个函数可以做到

    • View Full Discuss   Reply This Topic
  • 字符串和编码
    石川东 created at 22小时前, Last updated at 22小时前 
    r = 100 * (s2-s1) / s1
print('The result is %2.1f%%.' % r)
  • 关于格式化字符串
    Airou233 created at 1天前, Last updated at 1天前

    首先%d和%i用处一样的，这两个有没有什么区别呢？然后看网上说%u转换成为一个无符号整数，但是试了一下：

    a= -1print('%d' % a)-1print('%i' % a)-1print('%u' % a)-1

    结果和%d是一样的，不知道为什么。。。

  • 作业
    LlIiLlAa_ created at 2天前, Last updated at 2天前

    s1 = 72s2 = 85r = (s2-s1)/s1*100print('%s %%' % r)

  • 作业20170710
    大白和小白的节目 created at 3天前, Last updated at 3天前 
    r = (s2-s1)/s1*100
print ('小明的本次成绩提升的幅度为：%.1f %%'% (r))
  • 成绩浮动百分率查询.py
    流弊的小牛 created at 4天前, Last updated at 4天前 
    s1 = int(input('The last exam results:\n'))
s2 = int(input('The exam results:\n'))
s3 = (s2-s1)/s1*100
if s2-s1 >= 0:
    print ('本次成绩提升百分率为： %.1f %%' % (s3))
else:
    print ('本次成绩降低百分率为： %.1f %%' % (s3))
  • 小明你好！
    流弊的小牛 created at 4天前, Last updated at 4天前 
    s1 = 72
s2 = 85
s3 = (s2-s1)/s1*100
print ('小明的本次成绩提升的幅度为：%.1f %%'% (s3))
  • python3格式化字符串用format更好？
    东方神隐 created at 7-5 10:00, Last updated at 7-5 10:00

    字符串的format方法更简单、灵活、严谨，可以传入list、tuple甚至dict。%这样的c语言式格式化方法更像是旧时代遗留，不适合Python这样的动态脚本语言？当然廖大大可能是考虑到在前面部分初学者还没有学函数与方法。

  • 我有一个问题。。。
    瑾诺呵呵 created at 6-19 14:56, Last updated at 7-3 21:14

    感觉这一篇的占位符这一块不是很懂是什么意思，希望有高手指点迷津，谢谢

    • nufent5955206258
      Created at 6-28 17:26, Last updated at 6-28 17:26

      我自己试了一下午才弄明白，说一下我的理解，比如你晚上要去自习学习，下午先把书放桌子上，那么这本书就是占位符。在python中，用来占位的不是书，而是%f,%d,%s等这些符号，所以它们被称为占位符。

      再看本章练习中的情况：s1 = 72s2 = 85r = (s2-s1)/s1*100print('小明成绩提升了：%.1f%%' %r)

      最后一行的这一部分%.1f%%' %r就是占位符的应用，它实际分三部分：1, %.1f2, %%3, %r

      %.1f就是一个占位符号，f表示它是给一个浮点数占的位，f前面的.1表示取一位小数；%%就是显示一个百分号，因为%被当占位符用了，当结果中要显示百分号时，需要用%%来实现；%r,这个r才是真正的主角，在最后显示的结果中，前面的占位符%.f将被r的数值取代。

      所以最后显示的结果是： 小明的成绩提升了：18.1%

    • 阿神一啊
      Created at 7-3 21:14, Last updated at 7-3 21:14

      s1=72s2=85r=100*(s2-s1)/s1print "%.1f%%"%r

    • View Full Discuss   Reply This Topic

发表评论

2.7旧版教程
SYZ01
关注
专栏目录
Python初学者错误：TypeError: unsupported operand type(s) for +: 'int' and 'str'
foryouslgme的博客
05-30 13万+
在大神们看来print可能是一个再简单不过的函数，但是对于新手来说，在自学过程中，会碰到各种各样的问题，如果没有很好的老师或者学习思路，很有可能学习成本会相当高，所以希望大神们不要鄙视初学者的“傻X”问题，毕竟大家都是过来人
Python学习笔记
qq_42173189的博客
05-09 77
Python3和Java的区别Python注释              多行注释可以用多个 # 号，还有 ''' 和 """。代码块表示    使用缩进来表示代码块，不需要使用大括号 {} 。多行语句        如果语句很长，我们可以使用反斜杠(\)来实现多行语句。数字类型        有四种类型：整数、布尔型、浮点数和复数。字符串引号     单引号和双引号使用意义完全相同。使用三引号(...
python中的编码方式
吾生也有涯，而知也无涯
06-29 1万+
说明这里我们以python2.7为例讲解python的编码方式指定执行编码方式python2.7的默认编码方式为ascii字符集，这里所说的编码方式指执行编码方式，在编程过程中，有三个地方都涉及到编码方式：分别是源码编码方式（.py文件的字符集），执行编码方式，运行环境编码方式，这里不详细赘述：详见https://blog.csdn.net/xiaoyink/article/details/807...
python基础教程_学习笔记10：异常
软件测试技能栈
06-14 5219
异常 什么是异常 Python用异常对象来表示异常情况。遇到错误后，会引发异常。如果异常对象并未被处理或捕捉，程序就会用所谓的回溯（Traceback，一种错误信息）终止执行： >>> 1/0   Traceback (most recent call last):   File "", line 1, in      1/0 ZeroDivisionError: integer
python 解析top文件格式
weixin_33816300的博客
11-12 441
1 top - 16:14:35 up 2 days, 3:04, 7 users, load average: 2.22, 1.84, 1.77 2 Tasks: 512 total, 2 running, 509 sleeping, 0 stopped, 1 zombie 3 %Cpu0 : 5.0 us, 1.0 sy, 17.0 ni, 77.0 id, ...
Python字符串和编码学习教程( 比特bit、ASCII编码是十进制、UTF-8、format代码学习).docx
03-14
Python字符串和编码学习教程( 比特bit、ASCII编码是十进制、UTF-8、format代码学习).docx
Python2与Python3关于字符串编码处理的差别总结
09-16
Python2和Python3在处理字符串编码方面存在显著差异，这些差异主要源于对Unicode编码的不同处理方式。Unicode是一种通用的字符编码标准，旨在涵盖世界上几乎所有的字符。了解这些差异对于编写跨平台、兼容不同语言的...
详解Python当中的字符串和编码
12-25
我们已经讲过了，字符串也是一种数据类型，但是，字符串比较特殊的是还有一个编码问题。 因为计算机只能处理数字，如果要处理文本，就必须先把文本转换为数字才能处理。最早的计算机在设计时采用8个比特（bit）作为...
Python之字符串和编码共13页.pdf.zip
10-30
Python字符串类有许多内置方法，如`lower()`、`upper()`用于大小写转换，`find()`、`index()`用于查找子串位置，`startswith()`、`endswith()`检查字符串是否以特定前缀或后缀开始或结束。 通过理解并熟练掌握上述...
C语言字符串转换为Python字符串的方法
08-18
C语言字符串转换为Python字符串的方法 C语言字符串转换为Python字符串是指将...C语言字符串转换为Python字符串需要根据不同的编码方式和数据类型选择合适的方法，以确保正确地将C语言字符串转换为Python字符串对象。
python 查看当前字符串的编码格式
blank4569的专栏
11-17 5万+
查看当前字符串的编码格式1. chardet模块举例2. Supported encoding for python 1. chardet模块 The easiest way to use the Universal Encoding Detector library is with the detect function. 使用通用编码检测器库的最简单方法是使用detect函数 The det...
【F-python基础编程】字符串1
小狐狸
08-22 1136
1-字符串与编码： 只有127个字符被编码到计算机里，也就是大小写英文字母、数字和一些符号，这个编码表被称为ASCII编码，Unicode把所有语言都统一到一套编码里，这样就不会再有乱码问题了。 在计算机内存中，统一使用Unicode编码，当需要保存到硬盘或者需要传输的时候，就转换为UTF-8编码；浏览网页的时候，服务器会把动态生成的Unicode内容转换为UTF-8再传输到浏览器。捋一捋AS...
Python学习（二）常见问题（5）：TypeError: unsupported operand type(s) for +: 'int' and 'str'
热门推荐
谦怀
11-16 5万+
Python学习（二）常见问题（5）：TypeError: unsupported operand type(s) for +: 'int' and 'str'   在键入数值进行相加运算时，报了这样一个错误 类型错误：不支持操作类型为整数和字符串 错误分析：sum=sum+input() 未被系统识别，导致程序错误 解决方法：给键入的数值定义，声明为整数 sum=sum+int(...
Python错误集锦：TypeError: unsupported operand type(s) for +: ‘int’ and ‘str’
桔子code 的博客
12-08 3万+
原文链接：http://www.juzicode.com/archives/2411 错误提示： 进行加减法运算时提示：TypeError: unsupported operand type(s) for +: ‘int’ and ‘str’： D:\juzicode>python test.py Traceback (most recent call last): File "test.py", line 6, in <module> c=a+b TypeErr..
NLP基础编程------中文编码
qq_40240102的博客
10-03 1171
1. 扩展ASCII 原有ASCII 表示128位,最高位不用 使用第一位后,扩展到256,但是对于中文还是不够 2. 汉字机内码 机内码: 计算机系统中:存储,处理,传输汉字时使用的统一编码形式 汉字有多少个? 汉字标准共有 6763 个, 其中一级 3755, 二级 3008, 还有 682 非汉字字符。 ASCII一个字节表示字母(但是只用七位,最高为为0),但是汉字太多,需要两个字节 为了和ASCII区分,汉字机内码最高为用1. 那余下的2*7位怎么与汉字对应??? 3.
python中占位符的使用
Unitue_逆流
04-13 3018
小明的成绩从去年的60分提升到了今年的72分，请计算小明成绩提升的百分点，并用字符串格式化显示出'xx.x%'，只保留小数点后1位：s1 = 72 s2 = 85解决方法：r = (s2-s1)/s2*100 print('小明提高了%.1f %%' %r)运行结果：解析：其中的%.1f是浮点数字的表示方法，%.1f表示小数点后一位，后面的两个百分号其中一个是打印输出中显示的百分号，另外一个是为了...
Tcl lnit error: Can’t find a usable init.tcl in the following directories 问题解决
梦想闹钟
09-15 597
实际研究后发现，其实py2exe已经把打包需要的lib放在dist文件夹下了，但是打包后的程序运行后却没有去lib下找，而是去找系统自带的环境变量里找，所以找不到。这个问题出现在我用py2exe打包了一个包含tkinter的图形化界面，在当前电脑上运行无问题，在移动到新电脑上后提示报错、getcwd用于获取当前工作目录绝对路径，在设置环境的变量的时候它用的是绝对路径-所以也导致了在当前电脑上能用而移动后不能用。解决方法是在你的程序里重新设置下环境变量，而且是用相对路径的形式。
Pandas的入门操作-Series对象
最新发布
weixin_58305115的博客
09-18 747
data参数data是Series构造函数中最主要的参数，它用来指定要存储在Series中的数据。data可以是多种数据类型，例如：Python 列表（list）或元组（tuple），如pd.Series([1, 2, 3])或pd.Series((4, 5, 6))。NumPy 数组，例如pd.Series(np.array([7, 8, 9]))。标量值（单个数值、字符串等），如pd.Series(5, index=[0, 1, 2])，这将创建一个包含相同标量值的Series。
深入理解Python字符串与编码
"本文主要探讨了Python中的字符串和编码问题，特别是针对Python 2.x版本。字符串作为Python中的基本数据类型，涉及到字符编码这一重要概念。文章首先介绍了计算机如何通过数字来处理文本，并提到了ASCII编码，它是最...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值