10.1. 操作系统接口
os
模块提供了大量和操作系统进行交互的函数:
>>> import os
>>> os.getcwd() # 返回当前工作路径
'C:\\Python37'
>>> os.chdir('/server/accesslogs') # 改变当前工作路径
>>> os.system('mkdir today') # 调用系统shell自带的mkdir命令
0
请确保使用 import os
而不是 from os import *
。第二种方法会导致 os.open()
覆盖系统自带的 open()
函数,这两个函数的功能有很大的不同。
自带的 dir()
和 help()
函数在使用大型模块如 os
时能够成为非常有用的交互工具:
>>> import os
>>> dir(os)
<返回一个包含os模块所有函数的list>
>>> help(os)
<返回一个从os模块docstring产生的手册>
对于日常的文件或者目录管理任务,shutil
模块提供了更高层次的接口,可以让用户更容易地使用:
>>> import shutil
>>> shutil.copyfile('data.db', 'archive.db')
'archive.db'
>>> shutil.move('/build/executables', 'installdir')
'installdir'
10.2. 文件通配符
glob
模块提供了一个函数,用于在目录中进行通配符搜索,得到一个文件列表。
>>> import glob
>>> glob.glob('*.py')
['primes.py', 'random.py', 'quote.py']
10.3. 命令行参数
常见的工具类脚本经常需要处理命令行参数。 这些参数储存在 sys
模块的 argv 属性中,作为一个列表存在。例如,以下是在命令行运行 python demo.py one two three
的结果输出:
>>> import sys
>>> print(sys.argv)
['demo.py', 'one', 'two', 'three']
getopt
模块使用 Unix 约定的 getopt()
函数处理 sys.argv 。更强大、灵活的命令行处理由 argparse
模块提供。
10.4. 错误输出重定向和退出程序
sys
模块有 stdin,stdout 和 stderr 这些属性。后者在处理警告和错误信息时非常有用,就算 stdout 被重定向了,还是能看见错误信息:
>>> sys.stderr.write('Warning, log file not found starting a new one\n')
Warning, log file not found starting a new one
退出程序最直接的方法是用 sys.exit()
。
10.5. 字符串匹配
re
模块为字符串的进阶处理提供了正则表达式的工具。对于复杂的匹配操作,正则表达式给出了简洁有效的解决方案:
>>> import re
>>> re.findall(r'\bf[a-z]*', 'which foot or hand fell fastest')
['foot', 'fell', 'fastest']
>>> re.sub(r'(\b[a-z]+) \1', r'\1', 'cat in the the hat')
'cat in the hat'
当只需要简单的功能时,采用字符串的方法更简洁易懂:
>>> 'tea for too'.replace('too', 'two')
'tea for two'
10.6. 数学库
math
模块可以访问C语言编写的浮点类型数学库函数:
>>> import math
>>> math.cos(math.pi / 4)
0.70710678118654757
>>> math.log(1024, 2)
10.0
random
模块提供了进行随机选择的工具:
>>> import random
>>> random.choice(['apple', 'pear', 'banana'])
'apple'
>>> random.sample(range(100), 10) # 不重复抽样
[30, 83, 16, 4, 8, 81, 41, 50, 18, 33]
>>> random.random() # 随机的 float 类型输出
0.17970987693706186
>>> random.randrange(6) # 从 range(6) 的返回范围内产生随机数
4
statistics
模块可以计算数字数据的基本统计属性(平均值、中值、方差等):
>>> import statistics
>>> data = [2.75, 1.75, 1.25, 0.25, 0.5, 1.25, 3.5]
>>> statistics.mean(data)
1.6071428571428572
>>> statistics.median(data)
1.25
>>> statistics.variance(data)
1.3720238095238095
SciPy 项目 <https://scipy.org> 提供了很多其他的数值计算模块。
10.7. 网络请求
有一大堆模块可以访问网络并根据各自网络协议来处理数据。其中最简单的两个分别是用于从URL获取数据的 urllib.request
和用于发送邮件的 smtplib
:
>>> from urllib.request import urlopen
>>> with urlopen('http://tycho.usno.navy.mil/cgi-bin/timer.pl') as response:
... for line in response:
... line = line.decode('utf-8') # 解码.
... if 'EST' in line or 'EDT' in line: # 查看是否是EST或EDT时间
... print(line)
<BR>Nov. 25, 09:43:32 PM EST
>>> import smtplib
>>> server = smtplib.SMTP('localhost')
>>> server.sendmail('soothsayer@example.org', 'jcaesar@example.org',
... """To: jcaesar@example.org
... From: soothsayer@example.org
...
... Beware the Ides of March.
... """)
>>> server.quit()
(注意,第二个例子需要本地运行一个邮件服务器。)
10.8. 日期和时间
datetime
模块提供了多种用于简单处理和复杂处理日期和时间的类。支持日期时间的运算、时间解析、格式化输出等,实现上重点优化了效率。模块也支持了时区的概念。
>>> # 日期对象能非常方便的构建和输出
>>> from datetime import date
>>> now = date.today()
>>> now
datetime.date(2003, 12, 2)
>>> now.strftime("%m-%d-%y. %d %b %Y is a %A on the %d day of %B.")
'12-02-03. 02 Dec 2003 is a Tuesday on the 02 day of December.'
>>> # 支持日期运算
>>> birthday = date(1964, 7, 31)
>>> age = now - birthday
>>> age.days
14368
10.9. 数据压缩
这些模块支持了常见的数据压缩格式: zlib
, gzip
, bz2
, lzma
, zipfile
, tarfile
.
>>> import zlib
>>> s = b'witch which has which witches wrist watch'
>>> len(s)
41
>>> t = zlib.compress(s)
>>> len(t)
37
>>> zlib.decompress(t)
b'witch which has which witches wrist watch'
>>> zlib.crc32(s)
226805979
10.10. 性能测试
许多 Python 用户对于同一个问题的多种实现手段的性能比较很感兴趣。Python 也提供了评估工具来解决此类问题。
例如,使用元组解包来实现变量交换是否高效,用 timeit
模块来快速实现一个性能比较:
>>> from timeit import Timer
>>> Timer('t=a; a=b; b=t', 'a=1; b=2').timeit()
0.57535828626024577
>>> Timer('a,b = b,a', 'a=1; b=2').timeit()
0.54962537085770791
与 timeit
的作用不同,profile
和 pstats
模块则提供了从一大堆代码中分析出最耗时部分的工具。
10.11. 质量管控
开发高质量软件的方法之一是在开发过程中为每个函数编写测试,并在开发过程中反复地运行这些测试。
doctest
模块提供了一个工具,用来扫描模块和验证程序文档字符串中嵌入的测试。测试构造就如同将函数的典型调用及其结果复制粘贴到文档字符串中一样简单。它通过向用户提供示例来改进文档,并且使得 doctest 模块能够确保代码保持对文档的正确性:
def average(values):
"""Computes the arithmetic mean of a list of numbers.
>>> print(average([20, 30, 70]))
40.0
"""
return sum(values) / len(values)
import doctest
doctest.testmod() # 自动验证嵌入的测试
unittest
模块并不像doctest
模块那样轻松,但它能够在单独的文件中维护一个更全面的测试集:
import unittest
class TestStatisticalFunctions(unittest.TestCase):
def test_average(self):
self.assertEqual(average([20, 30, 70]), 40.0)
self.assertEqual(round(average([1, 5, 7]), 1), 4.3)
with self.assertRaises(ZeroDivisionError):
average([])
with self.assertRaises(TypeError):
average(20, 30, 70)
unittest.main() # 从命令行上调用能触发所有测试
10.12. 自给自足
Python 展现了"自给自足"的哲学。它的那些大量丰富的、健壮的包,充分地说明了这个。例如:
xmlrpc.client
和xmlrpc.server
模块使得远程调用变得轻而易举。尽管模块名如此,但用户完全不需要掌握XML相关的知识就能使用。email
模块管理了包括 MIME 和其他基于 RFC 2822 信息文档的邮件信息。不同于实际发送和接受邮件的smtplib
和poplib
模块, email 模块提供了一个完整的工具集用于构造及解析复杂的消息结构(包括附件),以及处理各种编码和协议头。json
模块提供了对 JSON 这种流行的数据交换格式的强大支持。csv
模块则提供了直接读写CSV(逗号分隔文本)文件的能力,这种格式被数据库和电子表单广泛支持。XML 处理则由xml.etree.ElementTree
、xml.dom
和xml.sax
这些模块来完成。这些模块也同样大大简化了 Python 应用和其他工具间的信息交换。sqlite3
模块封装了 SQLite 数据库的查询、更新接口,这是一种有着不同 SQL 语法的持久化数据库。- 国际化被一系列模块支持,包括了
gettext
、locale
以及codecs
。