1.collections
1.namedtuple
namedtuple是一个函数,它用来创建一个自定义的tuple对象,并且规定了tuple元素的个数,并可以用属性而不是索引来引用tuple的某个元素。
>> from collections import namedtuple >> Point = namedtuple('Point', ['x', 'y']) >> p = Point(1, 2) >> p.x 1 >> p.y 2
2.deque
因为list是线性存储,数据量大的时候,插入和删除效率很低。
deque是为了高效实现插入和删除操作的双向列表,适合用于队列和栈。>> from collections import deque >> q = deque(['a', 'b', 'c']) >> q.append('x') >> q.appendleft('y') >> q deque(['y', 'a', 'b', 'c', 'x'])
3.defaultdict
使用dict时,如果引用的Key不存在,就会抛出KeyError。如果希望key不存在时,返回一个默认值,就可以用defaultdict
>> from collections import defaultdict >> dd = defaultdict(lambda: 'N/A') >> dd['key1'] = 'abc' >> dd['key1'] # key1存在 'abc' >> dd['key2'] # key2不存在,返回默认值 'N/A'
4.OrderedDict
使用dict时,Key是无序的。在对dict做迭代时,我们无法确定Key的顺序。
如果要保持Key的顺序,可以用OrderedDict。>> from collections import OrderedDict >> d = dict([('a', 1), ('b', 2), ('c', 3)]) >> d # dict的Key是无序的 {'a': 1, 'c': 3, 'b': 2} >> od = OrderedDict([('a', 1), ('b', 2), ('c', 3)]) >> od # OrderedDict的Key是有序的 OrderedDict([('a', 1), ('b', 2), ('c', 3)])
5.Counter
Counter是一个简单的计数器,例如,统计字符出现的个数
>> from collections import Counter >> c = Counter() >> for ch in 'programming': ... c[ch] = c[ch] + 1 ... >> c Counter({'g': 2, 'm': 2, 'r': 2, 'a': 1, 'i': 1, 'o': 1, 'n': 1, 'p': 1})
2.base64
1.base64
>> import base64 >> base64.b64encode('binary\x00string') 'YmluYXJ5AHN0cmluZw==' >> base64.b64decode('YmluYXJ5AHN0cmluZw==') 'binary\x00string'
2.base64-urlsafe
由于标准的Base64编码后可能出现字符+和/,在URL中就不能直接作为参数
>> base64.b64encode('i\xb7\x1d\xfb\xef\xff') 'abcd++//' >> base64.urlsafe_b64encode('i\xb7\x1d\xfb\xef\xff') 'abcd--__' >> base64.urlsafe_b64decode('abcd--__') 'i\xb7\x1d\xfb\xef\xff'
3.struct
struct的pack函数把任意数据类型变成字符串
pack的第一个参数是处理指令,'>I'的意思是:>表示字节顺序是big-endian,也就是网络序,I表示4字节无符号整数>> import struct >> struct.pack('>I', 10240099) '\x00\x9c@c'
unpack把str变成相应的数据类型
根据>IH的说明,后面的str依次变为I:4字节无符号整数和H:2字节无符号整数。>> struct.unpack('>IH', '\xf0\xf0\xf0\xf0\x80\x80') (4042322160, 32896)
Windows的位图文件(.bmp)是一种非常简单的文件格式,我们来用struct分析一下。 首先找一个bmp文件,没有的话用“画图”画一个。 读入前30个字节来分析: >> s = '\x42\x4d\x38\x8c\x0a\x00\x00\x00\x00\x00\x36\x00\x00\x00\x28\x00\x00\x00\x80\x02\x00\x00\x68\x01\x00\x00\x01\x00\x18\x00' BMP格式采用小端方式存储数据,文件头的结构按顺序如下: 两个字节:'BM'表示Windows位图,'BA'表示OS/2位图; 一个4字节整数:表示位图大小; 一个4字节整数:保留位,始终为0; 一个4字节整数:实际图像的偏移量; 一个4字节整数:Header的字节数; 一个4字节整数:图像宽度; 一个4字节整数:图像高度; 一个2字节整数:始终为1; 一个2字节整数:颜色数。 所以,组合起来用unpack读取: >> struct.unpack('<ccIIIIIIHH', s) ('B', 'M', 691256, 0, 54, 40, 640, 360, 1, 24) 结果显示,'B'、'M'说明是Windows位图,位图大小为640x360,颜色数为24。
4.hashlib
Python的hashlib提供了常见的摘要算法,如MD5,SHA1等等
md5import hashlib md5 = hashlib.md5() md5.update('how to use md5 in python hashlib?') print md5.hexdigest()
如果数据量很大,可以分块多次调用update(),最后计算的结果是一样的
md5 = hashlib.md5() md5.update('how to use md5 in ') md5.update('python hashlib?') print md5.hexdigest()
sha1
import hashlib sha1 = hashlib.sha1() sha1.update('how to use sha1 in ') sha1.update('python hashlib?') print sha1.hexdigest()