Base64是一种用64个字符来表示任意二进制数据的方法。
用记事本打开exe、jpg、pdf这些文件时,我们都会看到一大堆乱码,因为二进制文件包含很多无法显示和打印的字符,所以,如果要让记事本这样的文本处理软件能处理二进制数据,就需要一个二进制到字符串的转换方法。Base64是一种常见的二进制编码方法。
Base64的原理很简单,首先,准备一个包含64个字符的数组:
[‘A’,‘B’,‘C’,…‘a’,‘b’,‘c’,…‘0’,‘1’,…’+’,’/’]
然后,对二进制数据进行处理,每3个字节一组,一共是3*8=24bit,划为4组,每组正好6个bit:
这样我们得到4个数字作为索引,然后查表,获得相应的4个字符,就是编码后的字符串。
所以,Base64编码会把3字节的二进制数据编码为4字节的文本数据,长度增加33%,好处是编码后的文本数据可以在邮件正文、网页等直接展示。
如果要编码的二进制数据不是3的倍数,最后会剩下1个或2个字节怎么办?Base64用\x00字节在末尾补足后,再在编码的末尾加上1个或2个=号,表示补了多少字节,解码的时候,会自动去掉。
Python内置的base64可以直接进行base64的编解码:
import base64
a=base64.b64encode(b'binaary\x00string')
print(a)
b=base64.b64decode(b'YmluYWFyeQBzdHJpbmc=')
print(b)
输出结果为:
b’YmluYWFyeQBzdHJpbmc=’
b’binaary\x00string’
由于标准的Base64编码后可能出现字符+和/,在URL中就不能直接作为参数,所以又有一种“url safe"的base64编码,其实就是把字符+和/分别变成-和_:
c=base64.b64encode(b'i\xb7\x1d\xfb\xef\xff')
print(c)
d=base64.urlsafe_b64encode(b'i\xb7\x1d\xfb\xef\xff')
print(d)
e=base64.urlsafe_b64decode('abcd--__')
print(e)
输出结果:
b’abcd++//’
b’abcd–__’
b’i\xb7\x1d\xfb\xef\xff’
还可以自己定义64个字符的排列顺序,这样就可以自定义Base64编码,不过,通常情况下完全没有必要。
Base64是一种通过查表的编码方法,不能用于加密,即使使用自定义的编码表也不行。
Base64适用于小段内容的编码,比如数字证书签名、Cookie的内容等。
由于=字符也可能出现在Base64编码中,当=用在URL、Cookie里面会造成歧义,所以,很多Base64编码后会把=去掉:
去掉=后怎么解码呢?因为Base64是把3个字节变为4个字节,所以,Base64编码的长度永远是4的倍数,因此需要加上=把Base64字符串的长度变为4的倍数,就可以正常解码了。
小结:
Base64是一种任意二进制到文本字符串的编码方法,常用于在URL、Cookie、网页中传输少量二进制数据。
请写一个能处理去掉=的base64解码函数:
import base64
def safe_base64_decode(s):
#添加等于号
if len(s)%4!=0:
s=s+bytes('=',encoding='utf-8')*(4-len(s)%4)
print("1:%s"%s)
#解决字符串和bytes类型
if not isinstance(s,bytes):
s=byte(s,encoding='utf-8')
print('s:%s'%s)
#解码
base64_string=base64.b64decode(s)
print("base64:%s"%base64_string)
return base64_string
#测试
assert b'abcd'==safe_base64_decode(b'YWJjZA=='),safe_base64_decode('YWJjZA==')
assert b'abcd'==safe_base64_decode(b'YWJjZA'),safe_base64_decode('YWJjZA')
print('ok')
输出结果:
base64:b’abcd’
1:b’YWJjZA==’
base64:b’abcd’
ok
准确地讲,Python没有专门处理字节的数据类型。但由于str即是字符串,又可以表示字节,所以字节数组=str。而在C语言中,我们可以很方便地用struct、union来处理字节和int,float的转换。
在Python中,比方说要把一个32位无符号整数变成字节,也就是4个长度的bytes,你得配合位运算符这么写:
非常麻烦。如果换成浮点数就无能为力了。
好在Python提供了一个struct模块来解决bytes和其他二进制数据类型的转换。
struct的pack函数把任意数据类型变成bytes:
unpack把bytes变成相应的数据类型:
所以,尽管Python不适合编写底层操作字节流的代码,但在对性能要求不高的地方,利用struct就方便多了。
Windows的位图文件(.bmp)是一种非常简单的文件格式,我们来用struct分析一下。
首先找一个bmp文件,没有的话用”画图“画一个。
读入前30个字节来分析: