Python学习笔记

Python可以处理任意大小的整数，当然包括负整数，在程序中的表示方法和数学上的写法一模一样，例如：1，100，-8080，0，等等。

计算机由于使用二进制，所以，有时候用十六进制表示整数比较方便，十六进制用0x前缀和0-9，a-f表示，例如：0xff00，0xa5b4c3d2，等等。

对于很大的数，例如10000000000，很难数清楚0的个数。Python允许在数字中间以_分隔，因此，写成10_000_000_000和10000000000是完全一样的。十六进制数也可以写成0xa1b2_c3d4。

对于很大或很小的浮点数，就必须用科学计数法表示，把10用e替代，1.23x109就是1.23e9，或者12.3e8，0.000012可以写成1.2e-5，等等。

如果字符串里面有很多字符都需要转义，就需要加很多\，为了简化，Python还允许用r’‘表示’'内部的字符串默认不转义，可以自己试试：

print(‘\\t\’)

\ \

print(r’\\t\')

\\t\

如果字符串内部有很多换行，用\n写在一行里不好阅读，为了简化，Python允许用’‘’…‘’'的格式表示多行内容，可以自己试试：

print(‘’‘line1
… line2
… line3’‘’)
line1
line2
line3

变量本身类型不固定的语言称之为动态语言，与之对应的是静态语言。静态语言在定义变量时必须指定变量类型，如果赋值的时候类型不匹配，就会报错。例如Java是静态语言

把一个变量a赋值给另一个变量b，这个操作实际上是把变量b指向变量a所指向的数据
a = ‘ABC’
b = a
a = ‘XYZ’
print(b)
执行a = ‘ABC’，解释器创建了字符串’ABC’和变量a，并把a指向’ABC’：
执行b = a，解释器创建了变量b，并把b指向a指向的字符串’ABC’：
执行a = ‘XYZ’，解释器创建了字符串’XYZ’，并把a的指向改为’XYZ’，但b并没有更改：
所以，最后打印变量b的结果自然是’ABC’了。

除法计算结果是浮点数，即使是两个整数恰好整除，结果也是浮点数：

9 / 3
3.0

还有一种除法是//，称为地板除，两个整数的除法仍然是整数：

10 // 3
3

在Python中，格式化字符串用%实现，举例如下：

‘Hello, %s’ % ‘world’
‘Hello, world’
‘Hi, %s, you have $%d.’ % (‘Michael’, 1000000)
‘Hi, Michael, you have $1000000.’

%运算符就是用来格式化字符串的。在字符串内部，%s表示用字符串替换，%d表示用整数替换，有几个%?占位符，后面就跟几个变量或者值，顺序要对应好。如果只有一个%?，括号可以省略。

另一种格式化字符串的方法是使用字符串的format()方法，它会用传入的参数依次替换字符串内的占位符{0}、{1}……，不过这种方式写起来比%要麻烦得多：

‘Hello, {0}, 成绩提升了 {1:.1f}%’.format(‘小明’, 17.125)
‘Hello, 小明, 成绩提升了 17.1%’

最后一种格式化字符串的方法是使用以f开头的字符串，称之为f-string，它和普通字符串不同之处在于，字符串如果包含{xxx}，就会以对应的变量替换：

r = 2.5
s = 3.14 * r ** 2
print(f’The area of a circle with radius {r} is {s:.2f}')
The area of a circle with radius 2.5 is 19.62

只有1个元素的tuple定义时必须加一个逗号,，来消除歧义：

t = (1,)
t
(1,)

input()返回的数据类型是str，str不能直接和整数比较，必须先把str转换成整数。Python提供了int()函数来完成这件事情

for x in …循环就是把每个元素代入变量x，然后执行缩进块的语句

对于不变对象来说，调用对象自身的任意方法，也不会改变该对象自身的内容。相反，这些方法会创建新的对象并返回，这样，就保证了不可变对象本身永远是不可变的

函数名其实就是指向一个函数对象的引用，完全可以把函数名赋给一个变量，相当于给这个函数起了一个“别名”：

a = abs # 变量a指向abs函数
a(-1) # 所以也可以通过a调用abs函数
1

函数可以返回多个值吗？答案是肯定的。
比如在游戏中经常需要从一个点移动到另一个点，给出坐标、位移和角度，就可以计算出新的坐标：
import math

def move(x, y, step, angle=0):
nx = x + step * math.cos(angle)
ny = y - step * math.sin(angle)
return nx, ny

x, y = move(100, 100, 60, math.pi / 6)
print(x, y)
151.96152422706632 70.0

但其实这只是一种假象，Python函数返回的仍然是单一值：

r = move(100, 100, 60, math.pi / 6)
print®
(151.96152422706632, 70.0)

原来返回值是一个tuple！但是，在语法上，返回一个tuple可以省略括号，而多个变量可以同时接收一个tuple，按位置赋给对应的值，所以，Python的函数返回多值其实就是返回一个tuple，但写起来更方便。

定义默认参数要牢记一点：默认参数必须指向不变对象！

先定义一个函数，传入一个list，添加一个END再返回：

def add_end(L=[]):
L.append(‘END’)
return L

当你正常调用时，结果似乎不错：

add_end([1, 2, 3])
[1, 2, 3, ‘END’]
add_end([‘x’, ‘y’, ‘z’])
[‘x’, ‘y’, ‘z’, ‘END’]

当你使用默认参数调用时，一开始结果也是对的：

add_end()
[‘END’]

但是，再次调用add_end()时，结果就不对了：

add_end()
[‘END’, ‘END’]
add_end()
[‘END’, ‘END’, ‘END’]

很多初学者很疑惑，默认参数是[]，但是函数似乎每次都“记住了”上次添加了’END’后的list。

原因解释如下：

Python函数在定义的时候，默认参数L的值就被计算出来了，即[]，因为默认参数L也是一个变量，它指向对象[]，每次调用该函数，如果改变了L的内容，则下次调用时，默认参数的内容就变了，不再是函数定义时的[]了。

把函数的参数改为可变参数：

def calc(*numbers):
sum = 0
for n in numbers:
sum = sum + n * n
return sum

定义可变参数和定义一个list或tuple参数相比，仅仅在参数前面加了一个*号。在函数内部，参数numbers接收到的是一个tuple，因此，函数代码完全不变。但是，调用该函数时，可以传入任意个参数，包括0个参数：

calc(1, 2)
5
calc()
0

如果已经有一个list或者tuple，要调用一个可变参数怎么办？可以这样做：

nums = [1, 2, 3]
calc(nums[0], nums[1], nums[2])
14

这种写法当然是可行的，问题是太繁琐，所以Python允许你在list或tuple前面加一个*号，把list或tuple的元素变成可变参数传进去：

nums = [1, 2, 3]
calc(*nums)
14

*nums表示把nums这个list的所有元素作为可变参数传进去。

可变参数允许你传入0个或任意个参数，这些可变参数在函数调用时自动组装为一个tuple。而关键字参数允许你传入0个或任意个含参数名的参数，这些关键字参数在函数内部自动组装为一个dict。请看示例：

def person(name, age, **kw):
print(‘name:’, name, ‘age:’, age, ‘other:’, kw)

函数person除了必选参数name和age外，还接受关键字参数kw。在调用该函数时，可以只传入必选参数：

person(‘Michael’, 30)
name: Michael age: 30 other: {}

也可以传入任意个数的关键字参数：

person(‘Bob’, 35, city=‘Beijing’)
name: Bob age: 35 other: {‘city’: ‘Beijing’}
person(‘Adam’, 45, gender=‘M’, job=‘Engineer’)
name: Adam age: 45 other: {‘gender’: ‘M’, ‘job’: ‘Engineer’}

关键字参数有什么用？它可以扩展函数的功能。比如，在person函数里，我们保证能接收到name和age这两个参数，但是，如果调用者愿意提供更多的参数，我们也能收到。试想你正在做一个用户注册的功能，除了用户名和年龄是必填项外，其他都是可选项，利用关键字参数来定义这个函数就能满足注册的需求。

和可变参数类似，也可以先组装出一个dict，然后，把该dict转换为关键字参数传进去：

extra = {‘city’: ‘Beijing’, ‘job’: ‘Engineer’}
person(‘Jack’, 24, city=extra[‘city’], job=extra[‘job’])
name: Jack age: 24 other: {‘city’: ‘Beijing’, ‘job’: ‘Engineer’}

当然，上面复杂的调用可以用简化的写法：

extra = {‘city’: ‘Beijing’, ‘job’: ‘Engineer’}
person(‘Jack’, 24, **extra)
name: Jack age: 24 other: {‘city’: ‘Beijing’, ‘job’: ‘Engineer’}

extra表示把extra这个dict的所有key-value用关键字参数传入到函数的kw参数，kw将获得一个dict，注意kw获得的dict是extra的一份拷贝，对kw的改动不会影响到函数外的extra。

如果要限制关键字参数的名字，就可以用命名关键字参数，例如，只接收city和job作为关键字参数。这种方式定义的函数如下：

def person(name, age, *, city, job):
print(name, age, city, job)

和关键字参数**kw不同，命名关键字参数需要一个特殊分隔符*，*后面的参数被视为命名关键字参数。

调用方式如下：

person(‘Jack’, 24, city=‘Beijing’, job=‘Engineer’)
Jack 24 Beijing Engineer

如果函数定义中已经有了一个可变参数，后面跟着的命名关键字参数就不再需要一个特殊分隔符*了：

def person(name, age, *args, city, job):
print(name, age, args, city, job)

命名关键字参数必须传入参数名，这和位置参数不同。如果没有传入参数名，调用将报错

person(‘Jack’, 24, ‘Beijing’, ‘Engineer’)
Traceback (most recent call last):
File “”, line 1, in
TypeError: person() takes 2 positional arguments but 4 were given

由于调用时缺少参数名city和job，Python解释器把这4个参数均视为位置参数，但person()函数仅接受2个位置参数。

在Python中定义函数，可以用必选参数、默认参数、可变参数、关键字参数和命名关键字参数，这5种参数都可以组合使用。但是请注意，参数定义的顺序必须是：必选参数、默认参数、可变参数、命名关键字参数和关键字参数。

汉诺塔解法：递归实现：
def hanoi(n, a, b, c):
if n == 1:
print(a, ‘–>’, c)
else:
hanoi(n - 1, a, c, b)
print(a, ‘–>’, c)
hanoi(n - 1, b, a, c)

调用

hanoi(5, ‘A’, ‘B’, ‘C’)

如果给定一个list或tuple，我们可以通过for循环来遍历这个list或tuple，这种遍历我们称为迭代（Iteration）。

默认情况下，dict迭代的是key。如果要迭代value，可以用for value in d.values()，如果要同时迭代key和value，可以用for k, v in d.items()。

列表推导式总共有两种形式：

① [x for x in data if condition]

此处if主要起条件判断作用，data数据中只有满足if条件的才会被留下，最后统一生成为一个数据列表

② [exp1 if condition else exp2 for x in data]

此处if…else主要起赋值作用，当data中的数据满足if条件时将其做exp1处理，否则按照exp2处理，最后统一生成为一个数据列表

要创建一个generator，有很多种方法。第一种方法很简单，只要把一个列表生成式的[]改成()，就创建了一个generator

可以通过next()函数获得generator的下一个返回值：

next(g)
0
next(g)
1

使用for循环，因为generator也是可迭代对象：

g = (x * x for x in range(10))
for n in g:
… print(n)
…
0
1

定义generator的另一种方法。如果一个函数定义中包含yield关键字，那么这个函数就不再是一个普通函数，而是一个generator

杨辉三角定义如下：

      1
     / \
    1   1
   / \ / \
  1   2   1
 / \ / \ / \
1   3   3   1

/ \ / \ / \ /
1 4 6 4 1
/ \ / \ / \ / \ /
1 5 10 10 5 1

把每一行看做一个list，试写一个generator，不断输出下一行的list：

-- coding: utf-8 --

def triangles():
ret = [1]
while 1:
yield ret
# 迭代返回之后，将原有数组重新赋值，
# 赋值的规则就是下一行的第二项开始，是上一行的第一项和第二项之和，最后一项和第一项一直是初始数组的第一项。
ret = [ret[0],*[ret[index]+ret[index-1] for index in range(1,len(ret))],ret[0]]

n = 0
results = []
for t in triangles():
results.append(t)
n = n + 1
if n == 10:
break

for t in results:
print(t)

if results == [
[1],
[1, 1],
[1, 2, 1],
[1, 3, 3, 1],
[1, 4, 6, 4, 1],
[1, 5, 10, 10, 5, 1],
[1, 6, 15, 20, 15, 6, 1],
[1, 7, 21, 35, 35, 21, 7, 1],
[1, 8, 28, 56, 70, 56, 28, 8, 1],
[1, 9, 36, 84, 126, 126, 84, 36, 9, 1]
]:
print(‘测试通过!’)
else:
print(‘测试失败!’)

可以直接作用于for循环的数据类型有以下几种：

一类是集合数据类型，如list、tuple、dict、set、str等；

一类是generator，包括生成器和带yield的generator function。

这些可以直接作用于for循环的对象统称为可迭代对象：Iterable。

可以使用isinstance()判断一个对象是否是Iterable对象：

from collections.abc import Iterable
isinstance([], Iterable)
True
isinstance({}, Iterable)
True
isinstance(‘abc’, Iterable)
True
isinstance((x for x in range(10)), Iterable)
True
isinstance(100, Iterable)
False

可以被next()函数调用并不断返回下一个值的对象称为迭代器：Iterator。

可以使用isinstance()判断一个对象是否是Iterator对象：

from collections.abc import Iterator
isinstance((x for x in range(10)), Iterator)
True
isinstance([], Iterator)
False
isinstance({}, Iterator)
False
isinstance(‘abc’, Iterator)
False

生成器都是Iterator对象，但list、dict、str虽然是Iterable，却不是Iterator。

把list、dict、str等Iterable变成Iterator可以使用iter()函数：

isinstance(iter([]), Iterator)
True
isinstance(iter(‘abc’), Iterator)
True

凡是可作用于for循环的对象都是Iterable类型；

凡是可作用于next()函数的对象都是Iterator类型，它们表示一个惰性计算的序列；

集合数据类型如list、dict、str等是Iterable但不是Iterator，不过可以通过iter()函数获得一个Iterator对象。

Python的for循环本质上就是通过不断调用next()函数实现的

函数名其实就是指向函数的变量！

既然变量可以指向函数，函数的参数能接收变量，那么一个函数就可以接收另一个函数作为参数，这种函数就称之为高阶函数。

map()函数接收两个参数，一个是函数，一个是Iterable，map将传入的函数依次作用到序列的每个元素，并把结果作为新的Iterator返回。
reduce把一个函数作用在一个序列[x1, x2, x3, …]上，这个函数必须接收两个参数，reduce把结果继续和序列的下一个元素做累积计算，其效果就是：
reduce(f, [x1, x2, x3, x4]) = f(f(f(x1, x2), x3), x4)
map和reduce使用的例子如下：

def str2float(s):
DIGITS = {‘0’: 0, ‘1’: 1, ‘2’: 2, ‘3’: 3, ‘4’: 4, ‘5’: 5, ‘6’: 6, ‘7’: 7, ‘8’: 8, ‘9’: 9}
a = s.index(‘.’)
return reduce(lambda x, y: 10 * x + y, map(lambda s: DIGITS[s], s.replace(‘.’, ‘’)))/(10 ** len(s[a+1:]))

和map()类似，filter()也接收一个函数和一个序列。和map()不同的是，filter()把传入的函数依次作用于每个元素，然后根据返回值是True还是False决定保留还是丢弃该元素。
回数是指从左向右读和从右向左读都是一样的数，例如12321，909。利用filter()筛选出回数：

-- coding: utf-8 --

def is_palindrome(n):
string = str(n)
return string == string[::-1]

测试:

output = filter(is_palindrome, range(1, 1000))
print(‘1~1000:’, list(output))
if list(filter(is_palindrome, range(1, 200))) == [1, 2, 3, 4, 5, 6, 7, 8, 9, 11, 22, 33, 44, 55, 66, 77, 88, 99, 101, 111, 121, 131, 141, 151, 161, 171, 181, 191]:
print(‘测试成功!’)
else:
print(‘测试失败!’)

sorted()函数也是一个高阶函数，它还可以接收一个key函数来实现自定义的排序，例如按绝对值大小排序：

sorted([36, 5, -12, 9, -21], key=abs)
[5, 9, -12, -21, 36]

简单来说就是一个函数定义中引用了函数外定义的变量，并且该函数可以在其定义环境外被执行。这样的一个函数我们称之为闭包。实际上闭包可以看做一种更加广义的函数概念。因为其已经不再是传统意义上定义的函数。
返回闭包时牢记一点：返回函数不要引用任何循环变量，或者后续会发生变化的变量。
def count():
fs = []
for i in range(1, 4):
def f():
return i*i
fs.append(f)
return fs

f1, f2, f3 = count()

在上面的例子中，每次循环，都创建了一个新的函数，然后，把创建的3个函数都返回了。
你可能认为调用f1()，f2()和f3()结果应该是1，4，9，但实际结果是：

f1()
9
f2()
9
f3()
9

练习

利用闭包返回一个计数器函数，每次调用它返回递增整数：

-- coding: utf-8 --

def createCounter():
i = 0
def counter():
i += 1
return i
return counter

测试:

counterA = createCounter()
print(counterA(), counterA(), counterA(), counterA(), counterA()) # 1 2 3 4 5
counterB = createCounter()
if [counterB(), counterB(), counterB(), counterB()] == [1, 2, 3, 4]:
print(‘测试通过!’)
else:
print(‘测试失败!’)

运行时报错：
Traceback (most recent call last):
File “main.py”, line 11, in
print(counterA(), counterA(), counterA(), counterA(), counterA()) # 1 2 3 4 5
File “main.py”, line 5, in counter
i += 1
UnboundLocalError: local variable ‘i’ referenced before assignment

不能这么写，因为内部函数不能改变外部函数中变量的指向，可改为：
def createCounter():
i[0] = 0
def counter():
i[0] += 1
return i[0]
return counter
使用list可以回避这个问题，修改list中的值，并未改变list的指向。
或
def createCounter():
i = 0
def counter():
nonlocal i
i += 1
return i
return counter
在内部函数中声明变量为nonlocal，让内部函数获得修改权
或

def createCounter():
def counter():
j = 0
while 1:
j = j + 1
yield j
_iter = counter()
def ref():
return next(_iter)
return ref

在代码运行期间动态增加功能的方式，称之为“装饰器”（Decorator）
本质上，decorator就是一个返回函数的高阶函数。

-- coding: utf-8 --

import time, functools
def metric(fn):
@functools.wraps(fn)
def decorator(*args, **kw):
t1 = time.time()
res = fn(*args, **kw)
print(‘%s executed in %s ms’ % (fn.name, time.time() - t1))
return res
return decorator

测试

@metric
def fast(x, y):
time.sleep(0.0012)
return x + y;

@metric
def slow(x, y, z):
time.sleep(0.1234)
return x * y * z;

f = fast(11, 22)
s = slow(11, 22, 33)
if f != 33:
print(‘测试失败!’)
elif s != 7986:
print(‘测试失败!’)

当函数的参数个数太多，需要简化时，使用functools.partial可以创建一个新的函数，这个新函数可以固定住原函数的部分参数，从而在调用时更简单。

import functools
int2 = functools.partial(int, base=2)
int2(‘1000000’)
64
int2(‘1010101’)
85

Python本身就内置了很多非常有用的模块，只要安装完毕，这些模块就可以立刻使用。
我们以内建的sys模块为例，编写一个hello的模块：
#!/usr/bin/env python3

-- coding: utf-8 --

’ a test module ’

author = ‘Michael Liao’

import sys

def test():
args = sys.argv
if len(args)==1:
print(‘Hello, world!’)
elif len(args)==2:
print(‘Hello, %s!’ % args[1])
else:
print(‘Too many arguments!’)

if name==‘main’:
test()

第1行和第2行是标准注释，第1行注释可以让这个hello.py文件直接在Unix/Linux/Mac上运行，第2行注释表示.py文件本身使用标准UTF-8编码；
第4行是一个字符串，表示模块的文档注释，任何模块代码的第一个字符串都被视为模块的文档注释；
第6行使用__author__变量把作者写进去，这样当你公开源代码后别人就可以瞻仰你的大名；
以上就是Python模块的标准文件模板，当然也可以全部删掉不写，但是，按标准办事肯定没错。

在一个模块中，我们可能会定义很多函数和变量，但有的函数和变量我们希望给别人使用，有的函数和变量我们希望仅仅在模块内部使用。在Python中，是通过_前缀来实现的。
正常的函数和变量名是公开的（public），可以被直接引用，
类似__xxx__这样的变量是特殊变量，可以被直接引用，但是有特殊用途，比如上面的__author__，__name__就是特殊变量，hello模块定义的文档注释也可以用特殊变量__doc__访问，我们自己的变量一般不要用这种变量名；
类似_xxx和__xxx这样的函数或变量就是非公开的（private），不应该被直接引用，比如_abc，__abc等；

面向对象编程——Object Oriented Programming，简称OOP，是一种程序设计思想。OOP把对象作为程序的基本单元，一个对象包含了数据和操作数据的函数。

面向过程的程序设计把计算机程序视为一系列的命令集合，即一组函数的顺序执行。为了简化程序设计，面向过程把函数继续切分为子函数，即把大块函数通过切割成小块函数来降低系统的复杂度。

而面向对象的程序设计把计算机程序视为一组对象的集合，而每个对象都可以接收其他对象发过来的消息，并处理这些消息，计算机程序的执行就是一系列消息在各个对象之间传递。

在Python中，所有数据类型都可以视为对象，当然也可以自定义对象。自定义的对象数据类型就是面向对象中的类（Class）的概念。

我们以一个例子来说明面向过程和面向对象在程序流程上的不同之处。

假设我们要处理学生的成绩表，为了表示一个学生的成绩，面向过程的程序可以用一个dict表示：

std1 = { ‘name’: ‘Michael’, ‘score’: 98 }
std2 = { ‘name’: ‘Bob’, ‘score’: 81 }

而处理学生成绩可以通过函数实现，比如打印学生的成绩：

def print_score(std):
print(‘%s: %s’ % (std[‘name’], std[‘score’]))

如果采用面向对象的程序设计思想，我们首选思考的不是程序的执行流程，而是Student这种数据类型应该被视为一个对象，这个对象拥有name和score这两个属性（Property）。如果要打印一个学生的成绩，首先必须创建出这个学生对应的对象，然后，给对象发一个print_score消息，让对象自己把自己的数据打印出来。

class Student(object):

def __init__(self, name, score):
    self.name = name
    self.score = score

def print_score(self):
    print('%s: %s' % (self.name, self.score))

给对象发消息实际上就是调用对象对应的关联函数，我们称之为对象的方法（Method）。面向对象的程序写出来就像这样：

bart = Student(‘Bart Simpson’, 59)
lisa = Student(‘Lisa Simpson’, 87)
bart.print_score()
lisa.print_score()

要定义一个方法，除了第一个参数是self外，其他和普通函数一样。要调用一个方法，只需要在实例变量上直接调用，除了self不用传递，其他参数正常传入

面向对象的设计思想是从自然界中来的，因为在自然界中，类（Class）和实例（Instance）的概念是很自然的。Class是一种抽象概念，比如我们定义的Class——Student，是指学生这个概念，而实例（Instance）则是一个个具体的Student，比如，Bart Simpson和Lisa Simpson是两个具体的Student。

所以，面向对象的设计思想是抽象出Class，根据Class创建Instance。

面向对象的抽象程度又比函数要高，因为一个Class既包含数据，又包含操作数据的方法。

数据封装、继承和多态是面向对象的三大特点。

在Python中，定义类是通过class关键字：

class Student(object):
pass

class后面紧接着是类名，即Student，类名通常是大写开头的单词，紧接着是(object)，表示该类是从哪个类继承下来的，通常，如果没有合适的继承类，就使用object类，这是所有类最终都会继承的类。

由于类可以起到模板的作用，因此，可以在创建实例的时候，把一些我们认为必须绑定的属性强制填写进去。通过定义一个特殊的__init__方法，在创建实例的时候，就把name，score等属性绑上去：

class Student(object):
def init(self, name, score):
self.name = name
self.score = score

注意：特殊方法“init”前后分别有两个下划线！！！

注意到__init__方法的第一个参数永远是self，表示创建的实例本身，因此，在__init__方法内部，就可以把各种属性绑定到self，因为self就指向创建的实例本身。

有了__init__方法，在创建实例的时候，就不能传入空的参数了，必须传入与__init__方法匹配的参数，但self不需要传，Python解释器自己会把实例变量传进去：

bart = Student(‘Bart Simpson’, 59)
bart.name
‘Bart Simpson’
bart.score
59

实例的变量名如果以__开头，就变成了一个私有变量（private），只有内部可以访问，外部不能访问

变量名类似__xxx__的，也就是以双下划线开头，并且以双下划线结尾的，是特殊变量，特殊变量是可以直接访问的，不是private变量，所以，不能用__name__、__score__这样的变量名。

对于静态语言（例如Java）来说，如果需要传入Animal类型，则传入的对象必须是Animal类型或者它的子类，否则，将无法调用run()方法。

对于Python这样的动态语言来说，则不一定需要传入Animal类型。我们只需要保证传入的对象有一个run()方法就可以了：

class Timer(object):
def run(self):
print(‘Start…’)

这就是动态语言的“鸭子类型”，它并不要求严格的继承体系，一个对象只要“看起来像鸭子，走起路来像鸭子”，那它就可以被看做是鸭子。

Python的“file-like object“就是一种鸭子类型。对真正的文件对象，它有一个read()方法，返回其内容。但是，许多对象，只要有read()方法，都被视为“file-like object“。许多函数接收的参数就是“file-like object“，你不一定要传入真正的文件对象，完全可以传入任何实现了read()方法的对象。

如果要获得一个对象的所有属性和方法，可以使用dir()函数，它返回一个包含字符串的list，比如，获得一个str对象的所有属性和方法：

dir(‘ABC’)
[‘add’, ‘class’,…, ‘subclasshook’, ‘capitalize’, ‘casefold’,…, ‘zfill’]

配合getattr()、setattr()以及hasattr()，我们可以直接操作一个对象的状态：

class MyObject(object):
… def init(self):
… self.x = 9
… def power(self):
… return self.x * self.x
…
obj = MyObject()

紧接着，可以测试该对象的属性：

hasattr(obj, ‘x’) # 有属性’x’吗？
True
obj.x
9
hasattr(obj, ‘y’) # 有属性’y’吗？
False
setattr(obj, ‘y’, 19) # 设置一个属性’y’
hasattr(obj, ‘y’) # 有属性’y’吗？
True
getattr(obj, ‘y’) # 获取属性’y’
19
obj.y # 获取属性’y’
19

如果试图获取不存在的属性，会抛出AttributeError的错误：

getattr(obj, ‘z’) # 获取属性’z’
Traceback (most recent call last):
File “”, line 1, in
AttributeError: ‘MyObject’ object has no attribute ‘z’

可以传入一个default参数，如果属性不存在，就返回默认值：

getattr(obj, ‘z’, 404) # 获取属性’z’，如果不存在，返回默认值404
404

也可以获得对象的方法：

hasattr(obj, ‘power’) # 有属性’power’吗？
True
getattr(obj, ‘power’) # 获取属性’power’
<bound method MyObject.power of <main.MyObject object at 0x10077a6a0>>
fn = getattr(obj, ‘power’) # 获取属性’power’并赋值到变量fn
fn # fn指向obj.power
<bound method MyObject.power of <main.MyObject object at 0x10077a6a0>>
fn() # 调用fn()与调用obj.power()是一样的
81

在编写程序的时候，千万不要对实例属性和类属性使用相同的名字，因为相同名称的实例属性将屏蔽掉类属性，但是当你删除实例属性后，再使用相同的名称，访问到的将是类属性。

Python允许在定义class的时候，定义一个特殊的__slots__变量，来限制该class实例能添加的属性：

class Student(object):
slots = (‘name’, ‘age’) # 用tuple定义允许绑定的属性名称

使用__slots__要注意，__slots__定义的属性仅对当前类实例起作用，对继承的子类是不起作用的：

class GraduateStudent(Student):
… pass
…
g = GraduateStudent()
g.score = 9999

除非在子类中也定义__slots__，这样，子类实例允许定义的属性就是自身的__slots__加上父类的__slots__。

Python内置的@property装饰器就是负责把一个方法变成属性调用的：

class Student(object):

@property
def score(self):
    return self._score

@score.setter
def score(self, value):
    if not isinstance(value, int):
        raise ValueError('score must be an integer!')
    if value < 0 or value > 100:
        raise ValueError('score must between 0 ~ 100!')
    self._score = value

把一个getter方法变成属性，只需要加上@property就可以了，此时，@property本身又创建了另一个装饰器@score.setter，负责把一个setter方法变成属性赋值，于是，我们就拥有一个可控的属性操作：

s = Student()
s.score = 60 # OK，实际转化为s.set_score(60)
s.score # OK，实际转化为s.get_score()
60
s.score = 9999
Traceback (most recent call last):
…
ValueError: score must between 0 ~ 100!

注意到这个神奇的@property，我们在对实例属性操作的时候，就知道该属性很可能不是直接暴露的，而是通过getter和setter方法来实现的。

还可以定义只读属性，只定义getter方法，不定义setter方法就是一个只读属性：

class Student(object):

@property
def birth(self):
    return self._birth

@birth.setter
def birth(self, value):
    self._birth = value

@property
def age(self):
    return 2015 - self._birth

上面的birth是可读写属性，而age就是一个只读属性，因为age可以根据birth和当前时间计算出来。

要特别注意：属性的方法名不要和实例变量重名。例如，以下的代码是错误的：
class Student(object):

# 方法名称和实例变量均为birth:
@property
def birth(self):
    return self.birth

这是因为调用s.birth时，首先转换为方法调用，在执行return self.birth时，又视为访问self的属性，于是又转换为方法调用，造成无限递归，最终导致栈溢出报错RecursionError。

通过多重继承，一个子类就可以同时获得多个父类的所有功能。

在设计类的继承关系时，通常，主线都是单一继承下来的，例如，Ostrich继承自Bird。但是，如果需要“混入”额外的功能，通过多重继承就可以实现，比如，让Ostrich除了继承自Bird外，再同时继承Runnable。这种设计通常称之为MixIn。

由于Python允许使用多重继承，因此，MixIn就是一种常见的设计。

只允许单一继承的语言（如Java）不能使用MixIn的设计。

__str__和__repr__定制类

class Student(object):
def init(self, name):
self.name = name
def str(self):
return ‘Student object (name=%s)’ % self.name
repr = str

print(Student(‘Michael’))
Student object (name=Michael)
s = Student(‘Michael’)
s
Student object (name=Michael)

如果一个类想被用于for … in循环，类似list或tuple那样，就必须实现一个__iter__()方法，该方法返回一个迭代对象，然后，Python的for循环就会不断调用该迭代对象的__next__()方法拿到循环的下一个值，直到遇到StopIteration错误时退出循环。

我们以斐波那契数列为例，写一个Fib类，可以作用于for循环：

class Fib(object):
def init(self):
self.a, self.b = 0, 1 # 初始化两个计数器a，b

def __iter__(self):
    return self # 实例本身就是迭代对象，故返回自己

def __next__(self):
    self.a, self.b = self.b, self.a + self.b # 计算下一个值
    if self.a > 100000: # 退出循环的条件
        raise StopIteration()
    return self.a # 返回下一个值

现在，试试把Fib实例作用于for循环：

for n in Fib():
… print(n)
…
1
1
2
3
5
…
46368
75025

getitem

Fib实例虽然能作用于for循环，看起来和list有点像，但是，把它当成list来使用还是不行，比如，取第5个元素：

Fib()[5]
Traceback (most recent call last):
File “”, line 1, in
TypeError: ‘Fib’ object does not support indexing

要表现得像list那样按照下标取出元素，需要实现__getitem__()方法：

class Fib(object):
def getitem(self, n):
a, b = 1, 1
for x in range(n):
a, b = b, a + b
return a

现在，就可以按下标访问数列的任意一项了：

f = Fib()
f[0]
1
f[1]
1
f[2]
2
f[3]
3
f[10]
89
f[100]
573147844013817084101

但是list有个神奇的切片方法：

list(range(100))[5:10]
[5, 6, 7, 8, 9]

对于Fib却报错。原因是__getitem__()传入的参数可能是一个int，也可能是一个切片对象slice，所以要做判断：

class Fib(object):
def getitem(self, n):
if isinstance(n, int): # n是索引
a, b = 1, 1
for x in range(n):
a, b = b, a + b
return a
if isinstance(n, slice): # n是切片
start = n.start
stop = n.stop
if start is None:
start = 0
a, b = 1, 1
L = []
for x in range(stop):
if x >= start:
L.append(a)
a, b = b, a + b
return L

现在试试Fib的切片：

f = Fib()
f[0:5]
[1, 1, 2, 3, 5]
f[:10]
[1, 1, 2, 3, 5, 8, 13, 21, 34, 55]

但是没有对step参数作处理：

f[:10:2]
[1, 1, 2, 3, 5, 8, 13, 21, 34, 55, 89]

也没有对负数作处理，所以，要正确实现一个__getitem__()还是有很多工作要做的。

此外，如果把对象看成dict，getitem()的参数也可能是一个可以作key的object，例如str。

与之对应的是__setitem__()方法，把对象视作list或dict来对集合赋值。最后，还有一个__delitem__()方法，用于删除某个元素。

总之，通过上面的方法，我们自己定义的类表现得和Python自带的list、tuple、dict没什么区别，这完全归功于动态语言的“鸭子类型”，不需要强制继承某个接口。

为枚举类型定义一个class类型，然后，每个常量都是class的一个唯一实例。Python提供了Enum类来实现这个功能：

from enum import Enum

Month = Enum(‘Month’, (‘Jan’, ‘Feb’, ‘Mar’, ‘Apr’, ‘May’, ‘Jun’, ‘Jul’, ‘Aug’, ‘Sep’, ‘Oct’, ‘Nov’, ‘Dec’))

这样我们就获得了Month类型的枚举类，可以直接使用Month.Jan来引用一个常量，或者枚举它的所有成员：

for name, member in Month.members.items():
print(name, ‘=>’, member, ‘,’, member.value)

value属性则是自动赋给成员的int常量，默认从1开始计数。

如果需要更精确地控制枚举类型，可以从Enum派生出自定义类：

from enum import Enum, unique

@unique
class Weekday(Enum):
Sun = 0 # Sun的value被设定为0
Mon = 1
Tue = 2
Wed = 3
Thu = 4
Fri = 5
Sat = 6

@unique装饰器可以帮助我们检查保证没有重复值。

访问这些枚举类型可以有若干种方法：

day1 = Weekday.Mon
print(day1)
Weekday.Mon
print(Weekday.Tue)
Weekday.Tue
print(Weekday[‘Tue’])
Weekday.Tue
print(Weekday.Tue.value)
2
print(day1 == Weekday.Mon)
True
print(day1 == Weekday.Tue)
False
print(Weekday(1))
Weekday.Mon
print(day1 == Weekday(1))
True
Weekday(7)
Traceback (most recent call last):
…
ValueError: 7 is not a valid Weekday
for name, member in Weekday.members.items():
… print(name, ‘=>’, member)
…
Sun => Weekday.Sun
Mon => Weekday.Mon
Tue => Weekday.Tue
Wed => Weekday.Wed
Thu => Weekday.Thu
Fri => Weekday.Fri
Sat => Weekday.Sat

可见，既可以用成员名称引用枚举常量，又可以直接根据value的值获得枚举常量。

type()函数既可以返回一个对象的类型，又可以创建出新的类型，比如，我们可以通过type()函数创建出Hello类，而无需通过class Hello(object)…的定义：

def fn(self, name=‘world’): # 先定义函数
… print(‘Hello, %s.’ % name)
…
Hello = type(‘Hello’, (object,), dict(hello=fn)) # 创建Hello class
h = Hello()
h.hello()
Hello, world.
print(type(Hello))
<class ‘type’>
print(type(h))
<class ‘main.Hello’>

要创建一个class对象，type()函数依次传入3个参数：

class的名称；
继承的父类集合，注意Python支持多重继承，如果只有一个父类，别忘了tuple的单元素写法；
class的方法名称与函数绑定，这里我们把函数fn绑定到方法名hello上。

通过type()函数创建的类和直接写class是完全一样的，因为Python解释器遇到class定义时，仅仅是扫描一下class定义的语法，然后调用type()函数创建出class。

正常情况下，我们都用class Xxx…来定义类，但是，type()函数也允许我们动态创建出类来，也就是说，动态语言本身支持运行期动态创建类，这和静态语言有非常大的不同，要在静态语言运行期创建类，必须构造源代码字符串再调用编译器，或者借助一些工具生成字节码实现，本质上都是动态编译，会非常复杂。

Python的错误其实也是class，所有的错误类型都继承自BaseException，所以在使用except时需要注意的是，它不但捕获该类型的错误，还把其子类也“一网打尽”。比如：

try:
foo()
except ValueError as e:
print(‘ValueError’)
except UnicodeError as e:
print(‘UnicodeError’)

第二个except永远也捕获不到UnicodeError，因为UnicodeError是ValueError的子类，如果有，也被第一个except给捕获了。

需要一整套调试程序的手段来修复bug。

第一种方法简单直接粗暴有效，就是用print()把可能有问题的变量打印出来看看
凡是用print()来辅助查看的地方，都可以用断言（assert）来替代
把print()替换为logging是第3种方式，和assert比，logging不会抛出错误，而且可以输出到文件
第4种方式是启动Python的调试器pdb，让程序以单步方式运行，可以随时查看运行状态。
这个方法也是用pdb，但是不需要单步执行，我们只需要import pdb，然后，在可能出错的地方放一个pdb.set_trace()，就可以设置一个断点
虽然用IDE调试起来比较方便，但是最后你会发现，logging才是终极武器。

抛出错误
因为错误是class，捕获一个错误就是捕获到该class的一个实例。因此，错误并不是凭空产生的，而是有意创建并抛出的。Python的内置函数会抛出很多类型的错误，我们自己编写的函数也可以抛出错误。
如果要抛出错误，首先根据需要，可以定义一个错误的class，选择好继承关系，然后，用raise语句抛出一个错误的实例：

err_raise.py

class FooError(ValueError):
pass

def foo(s):
n = int(s)
if n==0:
raise FooError(‘invalid value: %s’ % s)
return 10 / n

foo(‘0’)

执行，可以最后跟踪到我们自己定义的错误：
$ python3 err_raise.py
Traceback (most recent call last):
File “err_throw.py”, line 11, in
foo(‘0’)
File “err_throw.py”, line 8, in foo
raise FooError(‘invalid value: %s’ % s)
main.FooError: invalid value: 0

只有在必要的时候才定义我们自己的错误类型。如果可以选择Python已有的内置的错误类型（比如ValueError，TypeError），尽量使用Python内置的错误类型。
最后，我们来看另一种错误处理的方式：

err_reraise.py

def foo(s):
n = int(s)
if n==0:
raise ValueError(‘invalid value: %s’ % s)
return 10 / n

def bar():
try:
foo(‘0’)
except ValueError as e:
print(‘ValueError!’)
raise

bar()

在bar()函数中，我们明明已经捕获了错误，但是，打印一个ValueError!后，又把错误通过raise语句抛出去了，这不有病么？
其实这种错误处理方式不但没病，而且相当常见。捕获错误目的只是记录一下，便于后续追踪。但是，由于当前函数不知道应该怎么处理该错误，所以，最恰当的方式是继续往上抛，让顶层调用者去处理。好比一个员工处理不了一个问题时，就把问题抛给他的老板，如果他的老板也处理不了，就一直往上抛，最终会抛给CEO去处理。
raise语句如果不带参数，就会把当前错误原样抛出。此外，在except中raise一个Error，还可以把一种类型的错误转化成另一种类型：
try:
10 / 0
except ZeroDivisionError:
raise ValueError(‘input error!’)

只要是合理的转换逻辑就可以，但是，决不应该把一个IOError转换成毫不相干的ValueError。

读写文件是最常见的IO操作。Python内置了读写文件的函数，用法和C是兼容的。
要以读文件的模式打开一个文件对象，使用Python内置的open()函数，传入文件名和标示符：

f = open(‘/Users/michael/test.txt’, ‘r’)

标示符’r’表示读，这样，我们就成功地打开了一个文件。

由于文件读写时都有可能产生IOError，一旦出错，后面的f.close()就不会调用。所以，为了保证无论是否出错都能正确地关闭文件，我们可以使用try … finally来实现：

try:
f = open(‘/path/to/file’, ‘r’)
print(f.read())
finally:
if f:
f.close()

但是每次都这么写实在太繁琐，所以，Python引入了with语句来自动帮我们调用close()方法：

with open(‘/path/to/file’, ‘r’) as f:
print(f.read())

这和前面的try … finally是一样的，但是代码更加简洁，并且不必调用f.close()方法。

前面讲的默认都是读取文本文件，并且是UTF-8编码的文本文件。要读取二进制文件，比如图片、视频等等，用’rb’模式打开文件即可：

f = open(‘/Users/michael/test.jpg’, ‘rb’)
f.read()
b’\xff\xd8\xff\xe1\x00\x18Exif\x00\x00…’ # 十六进制表示的字节
要读取非UTF-8编码的文本文件，需要给open()函数传入encoding参数，例如，读取GBK编码的文件：

f = open(‘/Users/michael/gbk.txt’, ‘r’, encoding=‘gbk’)
f.read()
‘测试’

遇到有些编码不规范的文件，你可能会遇到UnicodeDecodeError，因为在文本文件中可能夹杂了一些非法编码的字符。遇到这种情况，open()函数还接收一个errors参数，表示如果遇到编码错误后如何处理。最简单的方式是直接忽略：

f = open(‘/Users/michael/gbk.txt’, ‘r’, encoding=‘gbk’, errors=‘ignore’)

写文件和读文件是一样的，唯一区别是调用open()函数时，传入标识符’w’或者’wb’表示写文本文件或写二进制文件：

f = open(‘/Users/michael/test.txt’, ‘w’)
f.write(‘Hello, world!’)
f.close()

你可以反复调用write()来写入文件，但是务必要调用f.close()来关闭文件。当我们写文件时，操作系统往往不会立刻把数据写入磁盘，而是放到内存缓存起来，空闲的时候再慢慢写入。只有调用close()方法时，操作系统才保证把没有写入的数据全部写入磁盘。忘记调用close()的后果是数据可能只写了一部分到磁盘，剩下的丢失了。所以，还是用with语句来得保险：

with open(‘/Users/michael/test.txt’, ‘w’) as f:
f.write(‘Hello, world!’)

要写入特定编码的文本文件，请给open()函数传入encoding参数，将字符串自动转换成指定编码。

细心的童鞋会发现，以’w’模式写入文件时，如果文件已存在，会直接覆盖（相当于删掉后新写入一个文件）。如果我们希望追加到文件末尾怎么办？可以传入’a’以追加（append）模式写入。

所有模式的定义及含义可以参考Python的官方文档。

StringIO顾名思义就是在内存中读写str。

要把str写入StringIO，我们需要先创建一个StringIO，然后，像文件一样写入即可：

from io import StringIO
f = StringIO()
f.write(‘hello’)
5
f.write(’ ')
1
f.write(‘world!’)
6
print(f.getvalue())
hello world!

getvalue()方法用于获得写入后的str。

要读取StringIO，可以用一个str初始化StringIO，然后，像读文件一样读取：

from io import StringIO
f = StringIO(‘Hello!\nHi!\nGoodbye!’)
while True:
… s = f.readline()
… if s == ‘’:
… break
… print(s.strip())
…
Hello!
Hi!
Goodbye!

StringIO操作的只能是str，如果要操作二进制数据，就需要使用BytesIO。

BytesIO实现了在内存中读写bytes，我们创建一个BytesIO，然后写入一些bytes：

from io import BytesIO
f = BytesIO()
f.write(‘中文’.encode(‘utf-8’))
6
print(f.getvalue())
b’\xe4\xb8\xad\xe6\x96\x87’

请注意，写入的不是str，而是经过UTF-8编码的bytes。

和StringIO类似，可以用一个bytes初始化BytesIO，然后，像读文件一样读取：

from io import BytesIO
f = BytesIO(b’\xe4\xb8\xad\xe6\x96\x87’)
f.read()
b’\xe4\xb8\xad\xe6\x96\x87’

小结

StringIO和BytesIO是在内存中操作str和bytes的方法，使得和读写文件具有一致的接口。
练习
利用os模块编写一个能实现dir -l输出的程序。
#!/usr/bin/env python3

-- coding: utf-8 --

from datetime import datetime
import os
pwd = os.path.abspath(‘.’)
print(’      Size     Last Modified  Name’)
print(‘------------------------------------------------------------’)
for f in os.listdir(pwd):
    fsize = os.path.getsize(f)
    mtime = datetime.fromtimestamp(os.path.getmtime(f)).strftime(‘%Y-%m-%d %H:%M’)
    flag = ‘/’ if os.path.isdir(f) else ‘’
    print(‘%10d  %s  %s%s’ % (fsize, mtime, f, flag))
编写一个程序，能在当前目录以及当前目录的所有子目录下查找文件名包含指定字符串的文件，并打印出相对路径。
#!/usr/bin/env python3

-- coding: utf-8 --

import os
import sys
def findfile(path, name):
    nodes = os.listdir(path)
    for f in nodes:
        full = os.path.join(path, f)
        if f.startswith(name) and os.path.isfile(full):
            print(‘find file %s’ % os.path.join(path, f))
        if os.path.isdir(full):
            findfile(full, name)
if name == ‘main’:
    abspath = os.path.abspath(‘.’)
    args = sys.argv[1:]
    if args:
        findfile(abspath, args[0])
    else:
        findfile(abspath, ‘README’)

当你用：

d = StringIO(‘Hello World’)

其stream position为0（可以通过d.tell()获得），而后执行

d.readline()

stream position移动到11.因此再次执行此方法时，返回的是空字符串。

d.readline()
‘’

类似的，使用

f = StringIO()

stream position也为0，而执行

f.write(‘Hello World’)

stream position就移动到11了，因此你再执行readline时返回的依旧是空字符串，若你需要返回’Hello World’可以通过

f.seek(0)

调整stream position即可。

我们把变量从内存中变成可存储或传输的过程称之为序列化，在Python中叫pickling，在其他语言中也被称之为serialization，marshalling，flattening等等，都是一个意思。
反过来，把变量内容从序列化的对象重新读到内存里称之为反序列化，即unpickling。

Python提供了pickle模块来实现序列化。

首先，我们尝试把一个对象序列化并写入文件：

import pickle
d = dict(name=‘Bob’, age=20, score=88)
pickle.dumps(d)
b’\x80\x03}q\x00(X\x03\x00\x00\x00ageq\x01K\x14X\x05\x00\x00\x00scoreq\x02KXX\x04\x00\x00\x00nameq\x03X\x03\x00\x00\x00Bobq\x04u.’

pickle.dumps()方法把任意对象序列化成一个bytes，然后，就可以把这个bytes写入文件。或者用另一个方法pickle.dump()直接把对象序列化后写入一个file-like Object：

f = open(‘dump.txt’, ‘wb’)
pickle.dump(d, f)
f.close()

看看写入的dump.txt文件，一堆乱七八糟的内容，这些都是Python保存的对象内部信息。

当我们要把对象从磁盘读到内存时，可以先把内容读到一个bytes，然后用pickle.loads()方法反序列化出对象，也可以直接用pickle.load()方法从一个file-like Object中直接反序列化出对象。我们打开另一个Python命令行来反序列化刚才保存的对象：

f = open(‘dump.txt’, ‘rb’)
d = pickle.load(f)
f.close()
d

{‘age’: 20, ‘score’: 88, ‘name’: ‘Bob’}

Python内置的json模块提供了非常完善的Python对象到JSON格式的转换。我们先看看如何把Python对象变成一个JSON：

import json
d = dict(name=‘Bob’, age=20, score=88)
json.dumps(d)
‘{“age”: 20, “score”: 88, “name”: “Bob”}’

dumps()方法返回一个str，内容就是标准的JSON。类似的，dump()方法可以直接把JSON写入一个file-like Object
要把JSON反序列化为Python对象，用loads()或者对应的load()方法，前者把JSON的字符串反序列化，后者从file-like Object中读取字符串并反序列化：

json_str = ‘{“age”: 20, “score”: 88, “name”: “Bob”}’
json.loads(json_str)
{‘age’: 20, ‘score’: 88, ‘name’: ‘Bob’}

由于JSON标准规定JSON编码是UTF-8，所以我们总是能正确地在Python的str与JSON的字符串之间转换。

由于Windows没有fork调用，因此，multiprocessing需要“模拟”出fork的效果，父进程所有Python对象都必须通过pickle序列化再传到子进程去，所以，如果multiprocessing在Windows下调用失败了，要先考虑是不是pickle失败了。

在Unix/Linux下，可以使用fork()调用实现多进程。

要实现跨平台的多进程，可以使用multiprocessing模块。

进程间通信是通过Queue、Pipes等实现的。

我们以Queue为例，在父进程中创建两个子进程，一个往Queue里写数据，一个从Queue里读数据：

from multiprocessing import Process, Queue
import os, time, random

写数据进程执行的代码:

def write(q):
print(‘Process to write: %s’ % os.getpid())
for value in [‘A’, ‘B’, ‘C’]:
print(‘Put %s to queue…’ % value)
q.put(value)
time.sleep(random.random())

读数据进程执行的代码:

def read(q):
print(‘Process to read: %s’ % os.getpid())
while True:
value = q.get(True)
print(‘Get %s from queue.’ % value)

if name==‘main’:
# 父进程创建Queue，并传给各个子进程：
q = Queue()
pw = Process(target=write, args=(q,))
pr = Process(target=read, args=(q,))
# 启动子进程pw，写入:
pw.start()
# 启动子进程pr，读取:
pr.start()
# 等待pw结束:
pw.join()
# pr进程里是死循环，无法等待其结束，只能强行终止:
pr.terminate()

运行结果如下：

Process to write: 50563
Put A to queue…
Process to read: 50564
Get A from queue.
Put B to queue…
Get B from queue.
Put C to queue…
Get C from queue.

subprocess模块可以让我们非常方便地启动一个子进程，然后控制其输入和输出。

下面的例子演示了如何在Python代码中运行命令nslookup www.python.org，这和命令行直接运行的效果是一样的：

import subprocess

print(‘$ nslookup www.python.org’)
r = subprocess.call([‘nslookup’, ‘www.python.org’])
print(‘Exit code:’, r)

运行结果：

$ nslookup www.python.org
Server: 192.168.19.4
Address: 192.168.19.4#53

Non-authoritative answer:
www.python.org canonical name = python.map.fastly.net.
Name: python.map.fastly.net
Address: 199.27.79.223

Exit code: 0

如果子进程还需要输入，则可以通过communicate()方法输入：

import subprocess

print(‘$ nslookup’)
p = subprocess.Popen([‘nslookup’], stdin=subprocess.PIPE, stdout=subprocess.PIPE, stderr=subprocess.PIPE)
output, err = p.communicate(b’set q=mx\npython.org\nexit\n’)
print(output.decode(‘utf-8’))
print(‘Exit code:’, p.returncode)

上面的代码相当于在命令行执行命令nslookup，然后手动输入：

set q=mx
python.org
exit

运行结果如下：

$ nslookup
Server: 192.168.19.4
Address: 192.168.19.4#53

Non-authoritative answer:
python.org mail exchanger = 50 mail.python.org.

Authoritative answers can be found from:
mail.python.org internet address = 82.94.164.166
mail.python.org has AAAA address 2001:888:2000:d::a6

Exit code: 0

由于线程是操作系统直接支持的执行单元，因此，高级语言通常都内置多线程的支持，Python也不例外，并且，Python的线程是真正的Posix Thread，而不是模拟出来的线程。

Python的标准库提供了两个模块：_thread和threading，_thread是低级模块，threading是高级模块，对_thread进行了封装。绝大多数情况下，我们只需要使用threading这个高级模块。

启动一个线程就是把一个函数传入并创建Thread实例，然后调用start()开始执行：

import time, threading

新线程执行的代码:

def loop():
print(‘thread %s is running…’ % threading.current_thread().name)
n = 0
while n < 5:
n = n + 1
print(‘thread %s >>> %s’ % (threading.current_thread().name, n))
time.sleep(1)
print(‘thread %s ended.’ % threading.current_thread().name)

print(‘thread %s is running…’ % threading.current_thread().name)
t = threading.Thread(target=loop, name=‘LoopThread’)
t.start()
t.join()
print(‘thread %s ended.’ % threading.current_thread().name)

执行结果如下：

thread MainThread is running…
thread LoopThread is running…
thread LoopThread >>> 1
thread LoopThread >>> 2
thread LoopThread >>> 3
thread LoopThread >>> 4
thread LoopThread >>> 5
thread LoopThread ended.
thread MainThread ended.

一个ThreadLocal变量虽然是全局变量，但每个线程都只能读写自己线程的独立副本，互不干扰。
ThreadLocal解决了参数在一个线程中各个函数之间互相传递的问题。

由于任何进程默认就会启动一个线程，我们把该线程称为主线程，主线程又可以启动新的线程，Python的threading模块有个current_thread()函数，它永远返回当前线程的实例。主线程实例的名字叫MainThread，子线程的名字在创建时指定，我们用LoopThread命名子线程。名字仅仅在打印时用来显示，完全没有其他意义，如果不起名字Python就自动给线程命名为Thread-1，Thread-2……

多线程编程，模型复杂，容易发生冲突，必须用锁加以隔离，同时，又要小心死锁的发生。

Python解释器由于设计时有GIL全局锁，导致了多线程无法利用多核。多线程的并发在Python中就是一个美丽的梦。

在Thread和Process中，应当优选Process，因为Process更稳定，而且，Process可以分布到多台机器上，而Thread最多只能分布到同一台机器的多个CPU上。

Python的multiprocessing模块不但支持多进程，其中managers子模块还支持把多进程分布到多台机器上。一个服务进程可以作为调度者，将任务分布到其他多个进程中，依靠网络通信。由于managers模块封装很好，不必了解网络通信的细节，就可以很容易地编写分布式多进程程序。

举个例子：如果我们已经有一个通过Queue通信的多进程程序在同一台机器上运行，现在，由于处理任务的进程任务繁重，希望把发送任务的进程和处理任务的进程分布到两台机器上。怎么用分布式进程实现？

原有的Queue可以继续使用，但是，通过managers模块把Queue通过网络暴露出去，就可以让其他机器的进程访问Queue了。

我们先看服务进程，服务进程负责启动Queue，把Queue注册到网络上，然后往Queue里面写入任务：

task_master.py

import random, time, queue
from multiprocessing.managers import BaseManager

发送任务的队列:

task_queue = queue.Queue()

接收结果的队列:

result_queue = queue.Queue()

从BaseManager继承的QueueManager:

class QueueManager(BaseManager):
pass

把两个Queue都注册到网络上, callable参数关联了Queue对象:

QueueManager.register(‘get_task_queue’, callable=lambda: task_queue)
QueueManager.register(‘get_result_queue’, callable=lambda: result_queue)

绑定端口5000, 设置验证码’abc’:

manager = QueueManager(address=(‘’, 5000), authkey=b’abc’)

启动Queue:

manager.start()

获得通过网络访问的Queue对象:

task = manager.get_task_queue()
result = manager.get_result_queue()

放几个任务进去:

for i in range(10):
n = random.randint(0, 10000)
print(‘Put task %d…’ % n)
task.put(n)

从result队列读取结果:

print(‘Try get results…’)
for i in range(10):
r = result.get(timeout=10)
print(‘Result: %s’ % r)

关闭:

manager.shutdown()
print(‘master exit.’)

请注意，当我们在一台机器上写多进程程序时，创建的Queue可以直接拿来用，但是，在分布式多进程环境下，添加任务到Queue不可以直接对原始的task_queue进行操作，那样就绕过了QueueManager的封装，必须通过manager.get_task_queue()获得的Queue接口添加。

然后，在另一台机器上启动任务进程（本机上启动也可以）：

task_worker.py

import time, sys, queue
from multiprocessing.managers import BaseManager

创建类似的QueueManager:

class QueueManager(BaseManager):
pass

由于这个QueueManager只从网络上获取Queue，所以注册时只提供名字:

QueueManager.register(‘get_task_queue’)
QueueManager.register(‘get_result_queue’)

连接到服务器，也就是运行task_master.py的机器:

server_addr = ‘127.0.0.1’
print(‘Connect to server %s…’ % server_addr)

端口和验证码注意保持与task_master.py设置的完全一致:

m = QueueManager(address=(server_addr, 5000), authkey=b’abc’)

从网络连接:

m.connect()

获取Queue的对象:

task = m.get_task_queue()
result = m.get_result_queue()

从task队列取任务,并把结果写入result队列:

for i in range(10):
try:
n = task.get(timeout=1)
print(‘run task %d * %d…’ % (n, n))
r = ‘%d * %d = %d’ % (n, n, n*n)
time.sleep(1)
result.put®
except Queue.Empty:
print(‘task queue is empty.’)

处理结束:

print(‘worker exit.’)

任务进程要通过网络连接到服务进程，所以要指定服务进程的IP。

现在，可以试试分布式进程的工作效果了。先启动task_master.py服务进程：

$ python3 task_master.py
Put task 3411…
Put task 1605…
Put task 1398…
Put task 4729…
Put task 5300…
Put task 7471…
Put task 68…
Put task 4219…
Put task 339…
Put task 7866…
Try get results…

task_master.py进程发送完任务后，开始等待result队列的结果。现在启动task_worker.py进程：

$ python3 task_worker.py
Connect to server 127.0.0.1…
run task 3411 * 3411…
run task 1605 * 1605…
run task 1398 * 1398…
run task 4729 * 4729…
run task 5300 * 5300…
run task 7471 * 7471…
run task 68 * 68…
run task 4219 * 4219…
run task 339 * 339…
run task 7866 * 7866…
worker exit.

task_worker.py进程结束，在task_master.py进程中会继续打印出结果：

Result: 3411 * 3411 = 11634921
Result: 1605 * 1605 = 2576025
Result: 1398 * 1398 = 1954404
Result: 4729 * 4729 = 22363441
Result: 5300 * 5300 = 28090000
Result: 7471 * 7471 = 55815841
Result: 68 * 68 = 4624
Result: 4219 * 4219 = 17799961
Result: 339 * 339 = 114921
Result: 7866 * 7866 = 61873956

这个简单的Master/Worker模型有什么用？其实这就是一个简单但真正的分布式计算，把代码稍加改造，启动多个worker，就可以把任务分布到几台甚至几十台机器上，比如把计算n*n的代码换成发送邮件，就实现了邮件队列的异步发送。

Queue对象存储在哪？注意到task_worker.py中根本没有创建Queue的代码，所以，Queue对象存储在task_master.py进程中

而Queue之所以能通过网络访问，就是通过QueueManager实现的。由于QueueManager管理的不止一个Queue，所以，要给每个Queue的网络调用接口起个名字，比如get_task_queue。

authkey有什么用？这是为了保证两台机器正常通信，不被其他机器恶意干扰。如果task_worker.py的authkey和task_master.py的authkey不一致，肯定连接不上。
小结

Python的分布式进程接口简单，封装良好，适合需要把繁重任务分布到多台机器的环境下。

注意Queue的作用是用来传递任务和接收结果，每个任务的描述数据量要尽量小。比如发送一个处理日志文件的任务，就不要发送几百兆的日志文件本身，而是发送日志文件存放的完整路径，由Worker进程再去共享的磁盘上读取文件。

正则表达式是一种用来匹配字符串的强有力的武器。它的设计思想是用一种描述性的语言来给字符串定义一个规则，凡是符合规则的字符串，我们就认为它“匹配”了，否则，该字符串就是不合法的。

用\d可以匹配一个数字，\w可以匹配一个字母或数字，所以：

'00\d'可以匹配'007'，但无法匹配'00A'；

'\d\d\d'可以匹配'010'；

'\w\w\d'可以匹配'py3'；

.可以匹配任意字符，所以：

'py.'可以匹配'pyc'、'pyo'、'py!'等等。

用*表示任意个字符（包括0个），用+表示至少一个字符，用?表示0个或1个字符，用{n}表示n个字符，用{n,m}表示n-m个字符：

来看一个复杂的例子：\d{3}\s+\d{3,8}。

我们来从左到右解读一下：

\d{3}表示匹配3个数字，例如'010'；

\s可以匹配一个空格（也包括Tab等空白符），所以\s+表示至少有一个空格，例如匹配' '，' '等；

\d{3,8}表示3-8个数字，例如'1234567'。

综合起来，上面的正则表达式可以匹配以任意个空格隔开的带区号的电话号码。

如果要匹配’010-12345’这样的号码呢？由于’-‘是特殊字符，在正则表达式中，要用’'转义，所以，上面的正则是\d{3}-\d{3,8}。

要做更精确地匹配，可以用[]表示范围，比如：

[0-9a-zA-Z\_]可以匹配一个数字、字母或者下划线；

[0-9a-zA-Z\_]+可以匹配至少由一个数字、字母或者下划线组成的字符串，比如'a100'，'0_Z'，'Py3000'等等；

[a-zA-Z\_][0-9a-zA-Z\_]*可以匹配由字母或下划线开头，后接任意个由一个数字、字母或者下划线组成的字符串，也就是Python合法的变量；

[a-zA-Z\_][0-9a-zA-Z\_]{0, 19}更精确地限制了变量的长度是1-20个字符（前面1个字符+后面最多19个字符）。

A|B可以匹配A或B，所以(P|p)ython可以匹配’Python’或者’python’。

^{表示行的开头，}\d表示必须以数字开头。

KaTeX parse error: Undefined control sequence: \d at position 8: 表示行的结束，\̲d̲表示必须以数字结束。

py也可以匹配’python’，但是加上^py$就变成了整行匹配，就只能匹配’py’了。

Python提供re模块，包含所有正则表达式的功能。由于Python的字符串本身也用\转义，所以要特别注意：

s = ‘ABC\-001’ # Python的字符串

对应的正则表达式字符串变成：

‘ABC-001’

因此我们强烈建议使用Python的r前缀，就不用考虑转义的问题了：

s = r’ABC-001’ # Python的字符串

对应的正则表达式字符串不变：

‘ABC-001’

match()方法判断是否匹配，如果匹配成功，返回一个Match对象，否则返回None。常见的判断方法就是：

test = ‘用户输入的字符串’
if re.match(r’正则表达式’, test):
print(‘ok’)
else:
print(‘failed’)

用正则表达式切分字符串比用固定的字符更灵活，请看正常的切分代码：

‘a b c’.split(’ ')
[‘a’, ‘b’, ‘’, ‘’, ‘c’]

嗯，无法识别连续的空格，用正则表达式试试：

re.split(r’\s+', ‘a b c’)
[‘a’, ‘b’, ‘c’]

正则表达式还有提取子串的强大功能。用()表示的就是要提取的分组（Group）。比如：

^(\d{3})-(\d{3,8})$分别定义了两个组，可以直接从匹配的字符串中提取出区号和本地号码：

m = re.match(r’^(\d{3})-(\d{3,8})$', ‘010-12345’)
m
<_sre.SRE_Match object; span=(0, 9), match=‘010-12345’>
m.group(0)
‘010-12345’
m.group(1)
‘010’
m.group(2)
‘12345’

如果正则表达式中定义了组，就可以在Match对象上用group()方法提取出子串来。

注意到group(0)永远是原始字符串，group(1)、group(2)……表示第1、2、……个子串。

正则匹配默认是贪婪匹配，也就是匹配尽可能多的字符。举例如下，匹配出数字后面的0：

re.match(r’^(\d+)(0*)$', ‘102300’).groups()
(‘102300’, ‘’)

由于\d+采用贪婪匹配，直接把后面的0全部匹配了，结果0*只能匹配空字符串了。

必须让\d+采用非贪婪匹配（也就是尽可能少匹配），才能把后面的0匹配出来，加个?就可以让\d+采用非贪婪匹配：

re.match(r’^(\d+?)(0*)$', ‘102300’).groups()
(‘1023’, ‘00’)

如果一个正则表达式要重复使用几千次，出于效率的考虑，我们可以预编译该正则表达式，接下来重复使用时就不需要编译这个步骤了，直接匹配：

import re

编译:

re_telephone = re.compile(r’^(\d{3})-(\d{3,8})$')

使用：

re_telephone.match(‘010-12345’).groups()
(‘010’, ‘12345’)
re_telephone.match(‘010-8086’).groups()
(‘010’, ‘8086’)

编译后生成Regular Expression对象，由于该对象自己包含了正则表达式，所以调用对应的方法时不用给出正则字符串。

datetime是Python处理日期和时间的标准库。

collections是Python内建的一个集合模块，提供了许多有用的集合类。
namedtuple是一个函数，它用来创建一个自定义的tuple对象，并且规定了tuple元素的个数，并可以用属性而不是索引来引用tuple的某个元素。
这样一来，我们用namedtuple可以很方便地定义一种数据类型，它具备tuple的不变性，又可以根据属性来引用，使用十分方便。
我们知道tuple可以表示不变集合，例如，一个点的二维坐标就可以表示成：

p = (1, 2)

但是，看到(1, 2)，很难看出这个tuple是用来表示一个坐标的。
定义一个class又小题大做了，这时，namedtuple就派上了用场：

from collections import namedtuple
Point = namedtuple(‘Point’, [‘x’, ‘y’])
p = Point(1, 2)
p.x
1
p.y
2

使用list存储数据时，按索引访问元素很快，但是插入和删除元素就很慢了，因为list是线性存储，数据量大的时候，插入和删除效率很低。
deque是为了高效实现插入和删除操作的双向列表，适合用于队列和栈：

from collections import deque
q = deque([‘a’, ‘b’, ‘c’])
q.append(‘x’)
q.appendleft(‘y’)
q
deque([‘y’, ‘a’, ‘b’, ‘c’, ‘x’])

deque除了实现list的append()和pop()外，还支持appendleft()和popleft()，这样就可以非常高效地往头部添加或删除元素。
defaultdict
使用dict时，如果引用的Key不存在，就会抛出KeyError。如果希望key不存在时，返回一个默认值，就可以用defaultdict：

from collections import defaultdict
dd = defaultdict(lambda: ‘N/A’)
dd[‘key1’] = ‘abc’
dd[‘key1’] # key1存在
‘abc’
dd[‘key2’] # key2不存在，返回默认值
‘N/A’

注意默认值是调用函数返回的，而函数在创建defaultdict对象时传入。
除了在Key不存在时返回默认值，defaultdict的其他行为跟dict是完全一样的。
OrderedDict
使用dict时，Key是无序的。在对dict做迭代时，我们无法确定Key的顺序。
如果要保持Key的顺序，可以用OrderedDict：

from collections import OrderedDict
d = dict([(‘a’, 1), (‘b’, 2), (‘c’, 3)])
d # dict的Key是无序的
{‘a’: 1, ‘c’: 3, ‘b’: 2}
od = OrderedDict([(‘a’, 1), (‘b’, 2), (‘c’, 3)])
od # OrderedDict的Key是有序的
OrderedDict([(‘a’, 1), (‘b’, 2), (‘c’, 3)])

注意，OrderedDict的Key会按照插入的顺序排列，不是Key本身排序：

od = OrderedDict()
od[‘z’] = 1
od[‘y’] = 2
od[‘x’] = 3
list(od.keys()) # 按照插入的Key的顺序返回
[‘z’, ‘y’, ‘x’]

OrderedDict可以实现一个FIFO（先进先出）的dict，当容量超出限制时，先删除最早添加的Key：
from collections import OrderedDict

class LastUpdatedOrderedDict(OrderedDict):

def __init__(self, capacity):
    super(LastUpdatedOrderedDict, self).__init__()
    self._capacity = capacity

def __setitem__(self, key, value):
    containsKey = 1 if key in self else 0
    if len(self) - containsKey >= self._capacity:
        last = self.popitem(last=False)
        print('remove:', last)
    if containsKey:
        del self[key]
        print('set:', (key, value))
    else:
        print('add:', (key, value))
    OrderedDict.__setitem__(self, key, value)

ChainMap
ChainMap可以把一组dict串起来并组成一个逻辑上的dict。ChainMap本身也是一个dict，但是查找的时候，会按照顺序在内部的dict依次查找。
什么时候使用ChainMap最合适？举个例子：应用程序往往都需要传入参数，参数可以通过命令行传入，可以通过环境变量传入，还可以有默认参数。我们可以用ChainMap实现参数的优先级查找，即先查命令行参数，如果没有传入，再查环境变量，如果没有，就使用默认参数。
下面的代码演示了如何查找user和color这两个参数：
from collections import ChainMap
import os, argparse

构造缺省参数:

defaults = {
‘color’: ‘red’,
‘user’: ‘guest’
}

构造命令行参数:

parser = argparse.ArgumentParser()
parser.add_argument(‘-u’, ‘–user’)
parser.add_argument(‘-c’, ‘–color’)
namespace = parser.parse_args()
command_line_args = { k: v for k, v in vars(namespace).items() if v }

组合成ChainMap:

combined = ChainMap(command_line_args, os.environ, defaults)

打印参数:

print(‘color=%s’ % combined[‘color’])
print(‘user=%s’ % combined[‘user’])

没有任何参数时，打印出默认参数：
$ python3 use_chainmap.py
color=red
user=guest

当传入命令行参数时，优先使用命令行参数：
$ python3 use_chainmap.py -u bob
color=red
user=bob

同时传入命令行参数和环境变量，命令行参数的优先级较高：
$ user=admin color=green python3 use_chainmap.py -u bob
color=green
user=bob

Counter
Counter是一个简单的计数器，例如，统计字符出现的个数：

from collections import Counter
c = Counter()
for ch in ‘programming’:
… c[ch] = c[ch] + 1
…
c
Counter({‘g’: 2, ‘m’: 2, ‘r’: 2, ‘a’: 1, ‘i’: 1, ‘o’: 1, ‘n’: 1, ‘p’: 1})
c.update(‘hello’) # 也可以一次性update
c
Counter({‘r’: 2, ‘o’: 2, ‘g’: 2, ‘m’: 2, ‘l’: 2, ‘p’: 1, ‘a’: 1, ‘i’: 1, ‘n’: 1, ‘h’: 1, ‘e’: 1})

Counter实际上也是dict的一个子类，上面的结果可以看出每个字符出现的次数。

Base64是一种用64个字符来表示任意二进制数据的方法。
Base64的原理很简单，首先，准备一个包含64个字符的数组：
[‘A’, ‘B’, ‘C’, … ‘a’, ‘b’, ‘c’, … ‘0’, ‘1’, … ‘+’, ‘/’]

然后，对二进制数据进行处理，每3个字节一组，一共是3x8=24bit，划为4组，每组正好6个bit：

这样我们得到4个数字作为索引，然后查表，获得相应的4个字符，就是编码后的字符串。
所以，Base64编码会把3字节的二进制数据编码为4字节的文本数据，长度增加33%，好处是编码后的文本数据可以在邮件正文、网页等直接显示。
如果要编码的二进制数据不是3的倍数，最后会剩下1个或2个字节怎么办？Base64用\x00字节在末尾补足后，再在编码的末尾加上1个或2个=号，表示补了多少字节，解码的时候，会自动去掉。
Python内置的base64可以直接进行base64的编解码：

import base64
base64.b64encode(b’binary\x00string’)
b’YmluYXJ5AHN0cmluZw==’
base64.b64decode(b’YmluYXJ5AHN0cmluZw==‘)
b’binary\x00string’

由于标准的Base64编码后可能出现字符+和/，在URL中就不能直接作为参数，所以又有一种"url safe"的base64编码，其实就是把字符+和/分别变成-和_：

base64.b64encode(b’i\xb7\x1d\xfb\xef\xff’)
b’abcd++//’
base64.urlsafe_b64encode(b’i\xb7\x1d\xfb\xef\xff’)
b’abcd–’
base64.urlsafe_b64decode('abcd–‘)
b’i\xb7\x1d\xfb\xef\xff’

还可以自己定义64个字符的排列顺序，这样就可以自定义Base64编码，不过，通常情况下完全没有必要。
Base64是一种通过查表的编码方法，不能用于加密，即使使用自定义的编码表也不行。
Base64适用于小段内容的编码，比如数字证书签名、Cookie的内容等。
由于=字符也可能出现在Base64编码中，但=用在URL、Cookie里面会造成歧义，所以，很多Base64编码后会把=去掉：

标准Base64:

‘abcd’ -> ‘YWJjZA==’

自动去掉=:

‘abcd’ -> ‘YWJjZA’

去掉=后怎么解码呢？因为Base64是把3个字节变为4个字节，所以，Base64编码的长度永远是4的倍数，因此，需要加上=把Base64字符串的长度变为4的倍数，就可以正常解码了。

Python提供了一个struct模块来解决bytes和其他二进制数据类型的转换。
struct的pack函数把任意数据类型变成bytes：

import struct
struct.pack(‘>I’, 10240099)
b’\x00\x9c@c’

pack的第一个参数是处理指令，'>I’的意思是：

表示字节顺序是big-endian，也就是网络序，I表示4字节无符号整数。
后面的参数个数要和处理指令一致。
unpack把bytes变成相应的数据类型：

struct.unpack(‘>IH’, b’\xf0\xf0\xf0\xf0\x80\x80’)
(4042322160, 32896)

根据>IH的说明，后面的bytes依次变为I：4字节无符号整数和H：2字节无符号整数。
所以，尽管Python不适合编写底层操作字节流的代码，但在对性能要求不高的地方，利用struct就方便多了。

Python的hashlib提供了常见的摘要算法，如MD5，SHA1等等。

Python的内建模块itertools提供了非常有用的用于操作迭代对象的函数。
首先，我们看看itertools提供的几个“无限”迭代器：

import itertools
natuals = itertools.count(1)
for n in natuals:
… print(n)
…
1
2
3
…

因为count()会创建一个无限的迭代器，所以上述代码会打印出自然数序列，根本停不下来，只能按Ctrl+C退出。
cycle()会把传入的一个序列无限重复下去：

import itertools
cs = itertools.cycle(‘ABC’) # 注意字符串也是序列的一种
for c in cs:
… print©
…
‘A’
‘B’
‘C’
‘A’
‘B’
‘C’
…

同样停不下来。
repeat()负责把一个元素无限重复下去，不过如果提供第二个参数就可以限定重复次数：

ns = itertools.repeat(‘A’, 3)
for n in ns:
… print(n)
…
A
A
A

无限序列只有在for迭代时才会无限地迭代下去，如果只是创建了一个迭代对象，它不会事先把无限个元素生成出来，事实上也不可能在内存中创建无限多个元素。
无限序列虽然可以无限迭代下去，但是通常我们会通过takewhile()等函数根据条件判断来截取出一个有限的序列：

natuals = itertools.count(1)
ns = itertools.takewhile(lambda x: x <= 10, natuals)
list(ns)
[1, 2, 3, 4, 5, 6, 7, 8, 9, 10]

itertools提供的几个迭代器操作函数更加有用：
chain()
chain()可以把一组迭代对象串联起来，形成一个更大的迭代器：

for c in itertools.chain(‘ABC’, ‘XYZ’):
… print©

迭代效果：‘A’ ‘B’ ‘C’ ‘X’ ‘Y’ ‘Z’

groupby()
groupby()把迭代器中相邻的重复元素挑出来放在一起：

for key, group in itertools.groupby(‘AAABBBCCAAA’):
… print(key, list(group))
…
A [‘A’, ‘A’, ‘A’]
B [‘B’, ‘B’, ‘B’]
C [‘C’, ‘C’]
A [‘A’, ‘A’, ‘A’]

实际上挑选规则是通过函数完成的，只要作用于函数的两个元素返回的值相等，这两个元素就被认为是在一组的，而函数返回值作为组的key。如果我们要忽略大小写分组，就可以让元素’A’和’a’都返回相同的key：

for key, group in itertools.groupby(‘AaaBBbcCAAa’, lambda c: c.upper()):
… print(key, list(group))
…
A [‘A’, ‘a’, ‘a’]
B [‘B’, ‘B’, ‘b’]
C [‘c’, ‘C’]
A [‘A’, ‘A’, ‘a’]

并不是只有open()函数返回的fp对象才能使用with语句。实际上，任何对象，只要正确实现了上下文管理，就可以用于with语句。
实现上下文管理是通过__enter__和__exit__这两个方法实现的。例如，下面的class实现了这两个方法：
class Query(object):

def __init__(self, name):
    self.name = name

def __enter__(self):
    print('Begin')
    return self

def __exit__(self, exc_type, exc_value, traceback):
    if exc_type:
        print('Error')
    else:
        print('End')

def query(self):
    print('Query info about %s...' % self.name)

这样我们就可以把自己写的资源对象用于with语句：
with Query(‘Bob’) as q:
q.query()

很多时候，我们希望在某段代码执行前后自动执行特定代码，也可以用@contextmanager实现。例如：
@contextmanager
def tag(name):
print(“<%s>” % name)
yield
print(“</%s>” % name)

with tag(“h1”):
print(“hello”)
print(“world”)

上述代码执行结果为：

hello world

代码的执行顺序是：
with语句首先执行yield之前的语句，因此打印出

；
yield调用会执行with语句内部的所有语句，因此打印出hello和world；
最后执行yield之后的语句，打印出

。
因此，@contextmanager让我们通过编写generator来简化上下文管理。

@closing
如果一个对象没有实现上下文，我们就不能把它用于with语句。这个时候，可以用closing()来把该对象变为上下文对象。例如，用with语句使用urlopen()：
from contextlib import closing
from urllib.request import urlopen

with closing(urlopen(‘https://www.python.org’)) as page:
for line in page:
print(line)

closing也是一个经过@contextmanager装饰的generator，这个generator编写起来其实非常简单：
@contextmanager
def closing(thing):
try:
yield thing
finally:
thing.close()

它的作用就是把任意对象变为上下文对象，并支持with语句。
@contextlib还有一些其他decorator，便于我们编写更简洁的代码。

urllib提供了一系列用于操作URL的功能。
Get
urllib的request模块可以非常方便地抓取URL内容，也就是发送一个GET请求到指定的页面，然后返回HTTP的响应：
例如，对豆瓣的一个URLhttps://api.douban.com/v2/book/2129650进行抓取，并返回响应：
from urllib import request

with request.urlopen(‘https://api.douban.com/v2/book/2129650’) as f:
data = f.read()
print(‘Status:’, f.status, f.reason)
for k, v in f.getheaders():
print(‘%s: %s’ % (k, v))
print(‘Data:’, data.decode(‘utf-8’))

可以看到HTTP响应的头和JSON数据：
Status: 200 OK
Server: nginx
Date: Tue, 26 May 2015 10:02:27 GMT
Content-Type: application/json; charset=utf-8
Content-Length: 2049
Connection: close
Expires: Sun, 1 Jan 2006 01:00:00 GMT
Pragma: no-cache
Cache-Control: must-revalidate, no-cache, private
X-DAE-Node: pidl1
Data: {“rating”:{“max”:10,“numRaters”:16,“average”:“7.4”,“min”:0},“subtitle”:“”,“author”:[“廖雪峰编著”],“pubdate”:“2007-6”,…}

如果我们要想模拟浏览器发送GET请求，就需要使用Request对象，通过往Request对象添加HTTP头，我们就可以把请求伪装成浏览器。例如，模拟iPhone 6去请求豆瓣首页：
from urllib import request

req = request.Request(‘http://www.douban.com/’)
req.add_header(‘User-Agent’, ‘Mozilla/6.0 (iPhone; CPU iPhone OS 8_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/8.0 Mobile/10A5376e Safari/8536.25’)
with request.urlopen(req) as f:
print(‘Status:’, f.status, f.reason)
for k, v in f.getheaders():
print(‘%s: %s’ % (k, v))
print(‘Data:’, f.read().decode(‘utf-8’))

这样豆瓣会返回适合iPhone的移动版网页：
…



…

Post
如果要以POST发送一个请求，只需要把参数data以bytes形式传入。
我们模拟一个微博登录，先读取登录的邮箱和口令，然后按照weibo.cn的登录页的格式以username=xxx&password=xxx的编码传入：
from urllib import request, parse

print(‘Login to weibo.cn…’)
email = input('Email: ')
passwd = input('Password: ')
login_data = parse.urlencode([
(‘username’, email),
(‘password’, passwd),
(‘entry’, ‘mweibo’),
(‘client_id’, ‘’),
(‘savestate’, ‘1’),
(‘ec’, ‘’),
(‘pagerefer’, ‘https://passport.weibo.cn/signin/welcome?entry=mweibo&r=http%3A%2F%2Fm.weibo.cn%2F’)
])

req = request.Request(‘https://passport.weibo.cn/sso/login’)
req.add_header(‘Origin’, ‘https://passport.weibo.cn’)
req.add_header(‘User-Agent’, ‘Mozilla/6.0 (iPhone; CPU iPhone OS 8_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/8.0 Mobile/10A5376e Safari/8536.25’)
req.add_header(‘Referer’, ‘https://passport.weibo.cn/signin/login?entry=mweibo&res=wel&wm=3349&r=http%3A%2F%2Fm.weibo.cn%2F’)

with request.urlopen(req, data=login_data.encode(‘utf-8’)) as f:
print(‘Status:’, f.status, f.reason)
for k, v in f.getheaders():
print(‘%s: %s’ % (k, v))
print(‘Data:’, f.read().decode(‘utf-8’))

如果登录成功，我们获得的响应如下：
Status: 200 OK
Server: nginx/1.2.0
…
Set-Cookie: SSOLoginState=1432620126; path=/; domain=weibo.cn
…
Data: {“retcode”:20000000,“msg”:“”,“data”:{…,“uid”:“1658384301”}}

如果登录失败，我们获得的响应如下：
…
Data: {“retcode”:50011015,“msg”:“\u7528\u6237\u540d\u6216\u5bc6\u7801\u9519\u8bef”,“data”:{“username”:“example@python.org”,“errline”:536}}

Handler
如果还需要更复杂的控制，比如通过一个Proxy去访问网站，我们需要利用ProxyHandler来处理，示例代码如下：
proxy_handler = urllib.request.ProxyHandler({‘http’: ‘http://www.example.com:3128/’})
proxy_auth_handler = urllib.request.ProxyBasicAuthHandler()
proxy_auth_handler.add_password(‘realm’, ‘host’, ‘username’, ‘password’)
opener = urllib.request.build_opener(proxy_handler, proxy_auth_handler)
with opener.open(‘http://www.example.com/login.html’) as f:
pass

小结
urllib提供的功能就是利用程序去执行各种HTTP请求。如果要模拟浏览器完成特定功能，需要把请求伪装成浏览器。伪装的方法是先监控浏览器发出的请求，再根据浏览器的请求头来伪装，User-Agent头就是用来标识浏览器的。

Pillow，已经是Python平台事实上的图像处理标准库了。Pillow功能非常强大，但API却非常简单易用。

我们已经讲解了Python内置的urllib模块，用于访问网络资源。但是，它用起来比较麻烦，而且，缺少很多实用的高级功能。
更好的方案是使用requests。它是一个Python第三方库，处理URL资源特别方便。

当我们拿到一个bytes时，就可以对其检测编码。用chardet检测编码，只需要一行代码：

chardet.detect(b’Hello, world!')
{‘encoding’: ‘ascii’, ‘confidence’: 1.0, ‘language’: ‘’}

检测出的编码是ascii，注意到还有个confidence字段，表示检测的概率是1.0（即100%）。
我们来试试检测GBK编码的中文：

data = ‘离离原上草，一岁一枯荣’.encode(‘gbk’)
chardet.detect(data)
{‘encoding’: ‘GB2312’, ‘confidence’: 0.7407407407407407, ‘language’: ‘Chinese’}

检测的编码是GB2312，注意到GBK是GB2312的超集，两者是同一种编码，检测正确的概率是74%，language字段指出的语言是’Chinese’。

在Python中获取系统信息的另一个好办法是使用psutil这个第三方模块。顾名思义，psutil = process and system utilities，它不仅可以通过一两行代码实现系统监控，还可以跨平台使用，支持Linux／UNIX／OSX／Windows等，是系统管理员和运维小伙伴不可或缺的必备模块。

virtualenv就是用来为一个应用创建一套“隔离”的Python运行环境。

Python支持多种图形界面的第三方库，包括：Tk，wxWidgets，Qt，GTK等等。
但是Python自带的库是支持Tk的Tkinter，使用Tkinter，无需安装任何包，就可以直接使用。
我们编写的Python代码会调用内置的Tkinter，Tkinter封装了访问Tk的接口；
Tk是一个图形库，支持多个操作系统，使用Tcl语言开发；
Tk会调用操作系统提供的本地GUI接口，完成最终的GUI。
所以，我们的代码只需要调用Tkinter提供的接口就可以了。

服务器绑定UDP端口和TCP端口互不冲突，也就是说，UDP的9999端口与TCP的9999端口可以各自绑定。

SMTP是发送邮件的协议，Python内置对SMTP的支持，可以发送纯文本邮件、HTML邮件以及带附件的邮件。
Python对SMTP支持有smtplib和email两个模块，email负责构造邮件，smtplib负责发送邮件。
收取邮件就是编写一个MUA作为客户端，从MDA把邮件获取到用户的电脑或者手机上。收取邮件最常用的协议是POP协议，目前版本号是3，俗称POP3。
Python内置一个poplib模块，实现了POP3协议，可以直接用来收邮件。

SQLite是一种嵌入式数据库，它的数据库就是一个文件。由于SQLite本身是C写的，而且体积很小，所以，经常被集成到各种应用程序中，甚至在iOS和Android的App中都可以集成。
Python就内置了SQLite3，所以，在Python中使用SQLite，不需要安装任何东西，直接使用。
在使用SQLite前，我们先要搞清楚几个概念：
表是数据库中存放关系数据的集合，一个数据库里面通常都包含多个表，比如学生的表，班级的表，学校的表，等等。表和表之间通过外键关联。
要操作关系数据库，首先需要连接到数据库，一个数据库连接称为Connection；
连接到数据库后，需要打开游标，称之为Cursor，通过Cursor执行SQL语句，然后，获得执行结果。
Python定义了一套操作数据库的API接口，任何数据库要连接到Python，只需要提供符合Python标准的数据库驱动即可。
由于SQLite的驱动内置在Python标准库中，所以我们可以直接来操作SQLite数据库。
我们在Python交互式命令行实践一下：

导入SQLite驱动:

import sqlite3

连接到SQLite数据库

数据库文件是test.db

如果文件不存在，会自动在当前目录创建:

conn = sqlite3.connect(‘test.db’)

创建一个Cursor:

cursor = conn.cursor()

执行一条SQL语句，创建user表:

cursor.execute(‘create table user (id varchar(20) primary key, name varchar(20))’)
<sqlite3.Cursor object at 0x10f8aa260>

继续执行一条SQL语句，插入一条记录:

cursor.execute(‘insert into user (id, name) values (‘1’, ‘Michael’)’)
<sqlite3.Cursor object at 0x10f8aa260>

通过rowcount获得插入的行数:

cursor.rowcount
1

关闭Cursor:

cursor.close()

提交事务:

conn.commit()

关闭Connection:

conn.close()

我们再试试查询记录：

conn = sqlite3.connect(‘test.db’)
cursor = conn.cursor()

执行查询语句:

cursor.execute(‘select * from user where id=?’, (‘1’,))
<sqlite3.Cursor object at 0x10f8aa340>

获得查询结果集:

values = cursor.fetchall()
values
[(‘1’, ‘Michael’)]
cursor.close()
conn.close()

使用Python的DB-API时，只要搞清楚Connection和Cursor对象，打开后一定记得关闭，就可以放心地使用。
使用Cursor对象执行insert，update，delete语句时，执行结果由rowcount返回影响的行数，就可以拿到执行结果。
使用Cursor对象执行select语句时，通过fetchall()可以拿到结果集。结果集是一个list，每个元素都是一个tuple，对应一行记录。
如果SQL语句带有参数，那么需要把参数按照位置传递给execute()方法，有几个?占位符就必须对应几个参数，例如：
cursor.execute(‘select * from user where name=? and pwd=?’, (‘abc’, ‘password’))

SQLite支持常见的标准SQL语句以及几种常见的数据类型。具体文档请参阅SQLite官方网站。
小结
在Python中操作数据库时，要先导入数据库对应的驱动，然后，通过Connection对象和Cursor对象操作数据。
要确保打开的Connection对象和Cursor对象都正确地被关闭，否则，资源就会泄露。
如何才能确保出错的情况下也关闭掉Connection对象和Cursor对象呢？请回忆try:…except:…finally:…的用法。

安装MySQL驱动
由于MySQL服务器以独立的进程运行，并通过网络对外服务，所以，需要支持Python的MySQL驱动来连接到MySQL服务器。MySQL官方提供了mysql-connector-python驱动，但是安装的时候需要给pip命令加上参数–allow-external：
$ pip install mysql-connector-python --allow-external mysql-connector-python

如果上面的命令安装失败，可以试试另一个驱动：
$ pip install mysql-connector

我们演示如何连接到MySQL服务器的test数据库：

导入MySQL驱动:

import mysql.connector

注意把password设为你的root口令:

conn = mysql.connector.connect(user=‘root’, password=‘password’, database=‘test’)
cursor = conn.cursor()

创建user表:

cursor.execute(‘create table user (id varchar(20) primary key, name varchar(20))’)

插入一行记录，注意MySQL的占位符是%s:

cursor.execute(‘insert into user (id, name) values (%s, %s)’, [‘1’, ‘Michael’])
cursor.rowcount
1

提交事务:

conn.commit()
cursor.close()

运行查询:

cursor = conn.cursor()
cursor.execute(‘select * from user where id = %s’, (‘1’,))
values = cursor.fetchall()
values
[(‘1’, ‘Michael’)]

关闭Cursor和Connection:

cursor.close()
True
conn.close()

由于Python的DB-API定义都是通用的，所以，操作MySQL的数据库代码和SQLite类似。
小结
执行INSERT等操作后要调用commit()提交事务；
MySQL的SQL占位符是%s。

数据库表是一个二维表，包含多行多列。把一个表的内容用Python的数据结构表示出来的话，可以用一个list表示多行，list的每一个元素是tuple，表示一行记录，比如，包含id和name的user表：
[
(‘1’, ‘Michael’),
(‘2’, ‘Bob’),
(‘3’, ‘Adam’)
]

Python的DB-API返回的数据结构就是像上面这样表示的。
但是用tuple表示一行很难看出表的结构。如果把一个tuple用class实例来表示，就可以更容易地看出表的结构来：
class User(object):
def init(self, id, name):
self.id = id
self.name = name

[
User(‘1’, ‘Michael’),
User(‘2’, ‘Bob’),
User(‘3’, ‘Adam’)
]

这就是传说中的ORM技术：Object-Relational Mapping，把关系数据库的表结构映射到对象上。是不是很简单？
但是由谁来做这个转换呢？所以ORM框架应运而生。
在Python中，最有名的ORM框架是SQLAlchemy。我们来看看SQLAlchemy的用法。
首先通过pip安装SQLAlchemy：
$ pip install sqlalchemy

然后，利用上次我们在MySQL的test数据库中创建的user表，用SQLAlchemy来试试：
第一步，导入SQLAlchemy，并初始化DBSession：

导入:

from sqlalchemy import Column, String, create_engine
from sqlalchemy.orm import sessionmaker
from sqlalchemy.ext.declarative import declarative_base

创建对象的基类:

Base = declarative_base()

定义User对象:

class User(Base):
# 表的名字:
tablename = ‘user’

# 表的结构:
id = Column(String(20), primary_key=True)
name = Column(String(20))

初始化数据库连接:

engine = create_engine(‘mysql+mysqlconnector://root:password@localhost:3306/test’)

创建DBSession类型:

DBSession = sessionmaker(bind=engine)

以上代码完成SQLAlchemy的初始化和具体每个表的class定义。如果有多个表，就继续定义其他class，例如School：
class School(Base):
tablename = ‘school’
id = …
name = …

create_engine()用来初始化数据库连接。SQLAlchemy用一个字符串表示连接信息：
‘数据库类型+数据库驱动名称://用户名:口令@机器地址:端口号/数据库名’

你只需要根据需要替换掉用户名、口令等信息即可。
下面，我们看看如何向数据库表中添加一行记录。
由于有了ORM，我们向数据库表中添加一行记录，可以视为添加一个User对象：

创建session对象:

session = DBSession()

创建新User对象:

new_user = User(id=‘5’, name=‘Bob’)

添加到session:

session.add(new_user)

提交即保存到数据库:

session.commit()

关闭session:

session.close()

可见，关键是获取session，然后把对象添加到session，最后提交并关闭。DBSession对象可视为当前数据库连接。
如何从数据库表中查询数据呢？有了ORM，查询出来的可以不再是tuple，而是User对象。SQLAlchemy提供的查询接口如下：

创建Session:

session = DBSession()

创建Query查询，filter是where条件，最后调用one()返回唯一行，如果调用all()则返回所有行:

user = session.query(User).filter(User.id==‘5’).one()

打印类型和对象的name属性:

print(‘type:’, type(user))
print(‘name:’, user.name)

关闭Session:

session.close()

运行结果如下：
type: <class ‘main.User’>
name: Bob

可见，ORM就是把数据库表的行与相应的对象建立关联，互相转换。
由于关系数据库的多个表还可以用外键实现一对多、多对多等关联，相应地，ORM框架也可以提供两个对象之间的一对多、多对多等功能。
例如，如果一个User拥有多个Book，就可以定义一对多关系如下：
class User(Base):
tablename = ‘user’

id = Column(String(20), primary_key=True)
name = Column(String(20))
# 一对多:
books = relationship('Book')

class Book(Base):
tablename = ‘book’

id = Column(String(20), primary_key=True)
name = Column(String(20))
# “多”的一方的book表是通过外键关联到user表的:
user_id = Column(String(20), ForeignKey('user.id'))

当我们查询一个User对象时，该对象的books属性将返回一个包含若干个Book对象的list。
小结
ORM框架的作用就是把数据库表的一行记录与一个对象互相做自动转换。
正确使用ORM的前提是了解关系数据库的原理。

HTTP请求
跟踪了新浪的首页，我们来总结一下HTTP请求的流程：
步骤1：浏览器首先向服务器发送HTTP请求，请求包括：
方法：GET还是POST，GET仅请求资源，POST会附带用户数据；
路径：/full/url/path；
域名：由Host头指定：Host: www.sina.com.cn
以及其他相关的Header；
如果是POST，那么请求还包括一个Body，包含用户数据。
步骤2：服务器向浏览器返回HTTP响应，响应包括：
响应代码：200表示成功，3xx表示重定向，4xx表示客户端发送的请求有错误，5xx表示服务器端处理时发生了错误；
响应类型：由Content-Type指定，例如：Content-Type: text/html;charset=utf-8表示响应类型是HTML文本，并且编码是UTF-8，Content-Type: image/jpeg表示响应类型是JPEG格式的图片；
以及其他相关的Header；
通常服务器的HTTP响应会携带内容，也就是有一个Body，包含响应的内容，网页的HTML源码就在Body中。
步骤3：如果浏览器还需要继续向服务器请求其他资源，比如图片，就再次发出HTTP请求，重复步骤1、2。
Web采用的HTTP协议采用了非常简单的请求-响应模式，从而大大简化了开发。当我们编写一个页面时，我们只需要在HTTP响应中把HTML发送出去，不需要考虑如何附带图片、视频等，浏览器如果需要请求图片和视频，它会发送另一个HTTP请求，因此，一个HTTP请求只处理一个资源。
HTTP协议同时具备极强的扩展性，虽然浏览器请求的是http://www.sina.com.cn/的首页，但是新浪在HTML中可以链入其他服务器的资源，比如，从而将请求压力分散到各个服务器上，并且，一个站点可以链接到其他站点，无数个站点互相链接起来，就形成了World Wide Web，简称“三达不溜”（WWW）。

HTML定义了页面的内容，CSS来控制页面元素的样式，而JavaScript负责页面的交互逻辑。

一个Web应用的本质就是：
浏览器发送一个HTTP请求；
服务器收到请求，生成一个HTML文档；
服务器把HTML文档作为HTTP响应的Body发送给浏览器；
浏览器收到HTTP响应，从HTTP Body取出HTML文档并显示。
所以，最简单的Web应用就是先把HTML用文件保存好，用一个现成的HTTP服务器软件，接收用户请求，从文件中读取HTML，返回。Apache、Nginx、Lighttpd等这些常见的静态服务器就是干这件事情的。

WSGI：Web Server Gateway Interface。
WSGI接口定义非常简单，它只要求Web开发者实现一个函数，就可以响应HTTP请求。我们来看一个最简单的Web版本的“Hello, web!”：
def application(environ, start_response):
start_response(‘200 OK’, [(‘Content-Type’, ‘text/html’)])
return [b’

Hello, web!

']

上面的application()函数就是符合WSGI标准的一个HTTP处理函数，它接收两个参数：

environ：一个包含所有HTTP请求信息的dict对象；

start_response：一个发送HTTP响应的函数。

在application()函数中，调用：
start_response(‘200 OK’, [(‘Content-Type’, ‘text/html’)])

就发送了HTTP响应的Header，注意Header只能发送一次，也就是只能调用一次start_response()函数。start_response()函数接收两个参数，一个是HTTP响应码，一个是一组list表示的HTTP Header，每个Header用一个包含两个str的tuple表示。
通常情况下，都应该把Content-Type头发送给浏览器。其他很多常用的HTTP Header也应该发送。
然后，函数的返回值b’

Hello, web!

'将作为HTTP响应的Body发送给浏览器。
有了WSGI，我们关心的就是如何从environ这个dict对象拿到HTTP请求信息，然后构造HTML，通过start_response()发送Header，最后返回Body。
整个application()函数本身没有涉及到任何解析HTTP的部分，也就是说，底层代码不需要我们自己编写，我们只负责在更高层次上考虑如何响应请求就可以了。
不过，等等，这个application()函数怎么调用？如果我们自己调用，两个参数environ和start_response我们没法提供，返回的bytes也没法发给浏览器。
所以application()函数必须由WSGI服务器来调用。有很多符合WSGI规范的服务器，我们可以挑选一个来用。但是现在，我们只想尽快测试一下我们编写的application()函数真的可以把HTML输出到浏览器，所以，要赶紧找一个最简单的WSGI服务器，把我们的Web应用程序跑起来。
好消息是Python内置了一个WSGI服务器，这个模块叫wsgiref，它是用纯Python编写的WSGI服务器的参考实现。所谓“参考实现”是指该实现完全符合WSGI标准，但是不考虑任何运行效率，仅供开发和测试使用。
运行WSGI服务
我们先编写hello.py，实现Web应用程序的WSGI处理函数：

hello.py

def application(environ, start_response):
start_response(‘200 OK’, [(‘Content-Type’, ‘text/html’)])
return [b’

Hello, web!

']

然后，再编写一个server.py，负责启动WSGI服务器，加载application()函数：

server.py

从wsgiref模块导入:

from wsgiref.simple_server import make_server

导入我们自己编写的application函数:

from hello import application

创建一个服务器，IP地址为空，端口是8000，处理函数是application:

httpd = make_server(‘’, 8000, application)
print(‘Serving HTTP on port 8000…’)

开始监听HTTP请求:

httpd.serve_forever()

确保以上两个文件在同一个目录下，然后在命令行输入python server.py来启动WSGI服务器：

wsgiref-start
注意：如果8000端口已被其他程序占用，启动将失败，请修改成其他端口。
启动成功后，打开浏览器，输入http://localhost:8000/，就可以看到结果了：

hello-web
在命令行可以看到wsgiref打印的log信息：

wsgiref-log
按Ctrl+C终止服务器。
如果你觉得这个Web应用太简单了，可以稍微改造一下，从environ里读取PATH_INFO，这样可以显示更加动态的内容：

hello.py

def application(environ, start_response):
start_response(‘200 OK’, [(‘Content-Type’, ‘text/html’)])
body = ‘

Hello, %s!

’ % (environ[‘PATH_INFO’][1:] or ‘web’)
return [body.encode(‘utf-8’)]

你可以在地址栏输入用户名作为URL的一部分，将返回Hello, xxx!：

hello-michael
是不是有点Web App的感觉了？
小结
无论多么复杂的Web应用程序，入口都是一个WSGI处理函数。HTTP请求的所有输入信息都可以通过environ获得，HTTP响应的输出都可以通过start_response()加上函数返回值作为Body。
复杂的Web应用程序，光靠一个WSGI函数来处理还是太底层了，我们需要在WSGI之上再抽象出Web框架，进一步简化Web开发。

asyncio是Python 3.4版本引入的标准库，直接内置了对异步IO的支持。
asyncio的编程模型就是一个消息循环。我们从asyncio模块中直接获取一个EventLoop的引用，然后把需要执行的协程扔到EventLoop中执行，就实现了异步IO。
用asyncio实现Hello world代码如下：
import asyncio

@asyncio.coroutine
def hello():
print(“Hello world!”)
# 异步调用asyncio.sleep(1):
r = yield from asyncio.sleep(1)
print(“Hello again!”)

获取EventLoop:

loop = asyncio.get_event_loop()

执行coroutine

loop.run_until_complete(hello())
loop.close()

@asyncio.coroutine把一个generator标记为coroutine类型，然后，我们就把这个coroutine扔到EventLoop中执行。
hello()会首先打印出Hello world!，然后，yield from语法可以让我们方便地调用另一个generator。由于asyncio.sleep()也是一个coroutine，所以线程不会等待asyncio.sleep()，而是直接中断并执行下一个消息循环。当asyncio.sleep()返回时，线程就可以从yield from拿到返回值（此处是None），然后接着执行下一行语句。
把asyncio.sleep(1)看成是一个耗时1秒的IO操作，在此期间，主线程并未等待，而是去执行EventLoop中其他可以执行的coroutine了，因此可以实现并发执行。

实战