8. 错误、调试和测试
异常:比如写文件时磁盘满了,写不进去了;从网络抓取数据,网络突然断掉了。这类错误必须处理。
调试:跟踪程序的运行,查看变量的值是否正确。Python的pdb可让我们以单步方式执行代码。
测试:编写测试很重要,有良好的测试,就可以在程序修改后反复运行,确保程序输出符合我们编写的测试。
1. 错误处理
在程序运行的过程中,如果发生了错误,可事先约定返回一个错误代码,这样就可以知道是否有错以及出错的原因。在操作系统提供的调用中,返回错误码非常常见。比如打开文件的函数open()
,成功时返回文件描述符(就是一个整数),出错时返回-1
。
用错误码表示是否出错十分不便,因为函数本身应该返回的正常结果和错误码混在一起,造成调用者必须用大量的代码来判断是否出错:
def foo():
r = some_function()
if r == (-1):
return (-1)
# do something
return r
def bar():
r = foo()
if r == (-1):
print('Error')
else:
pass
一旦出错,还要一级一级上报,直到某个函数可以处理该错误(比如给用户输出一个错误信息)。
高级语言通常都内置了一套try...except...finally...
的错误处理机制,Python也不例外。
try
demo:try
的机制
try--except--finally
try:
print('try...')
r = 10 / 0
print('result:', r)
except ZeroDivisionError as e:
print('except:', e)
finally:
print('finally...')
print('end')
用try
执行可能出错的代码,如果执行出错则不会继续执行,而是跳转到错误处理代码,即except
语句块,执行完except
后,如果有finally
则执行finally
语句块。至此,执行完毕。
上面代码在计算10/0
产生除法运算错误:
try...
except: division by zero
finally...
end
从输出可看出,当错误发生时,后续语句print('result:', r)
不会执行,except
由于捕获到ZeroDivisionError
,因此被执行。最后,finally
语句块被执行,然后,程序继续按照流程往下走。
如果把0
改成2
,则执行结果如下:
try...
result: 5.0
finally...
end
由于没有发生错误,所以except
语句块不会被执行,但finally
有就会被执行,也可以没有finally
。
int()
函数可能会抛出ValueError
,用except
捕获ValueError
,用另一个except
捕获ZeroDivisionError
。
如果没有错误发生,可在except
语句块后面加一个else
,当没有错误发生时,会自动执行else
语句:
try--except--esle--finally
try:
print('try...')
r = 10 / 2
print('result:', r)
except ZeroDivisionError as e:
print('except:', e)
finally:
print('finally...')
print('end')
'''
try...
result: 5.0
no error!
finally...
end
'''
Python的错误其实也是class,所有的错误类型都继承自BaseException
,所以在使用except
是需要注意它不但获取该类型的错误,还把其子类“一网打尽”,比如:
try:
foo()
except ValueError as e:
print('ValueError')
except UnicodeError as e:
print('UnicodeError')
第二个except
永远也捕获不到UnicodeError
,因为UnicodeError
是ValueError
的子类,如果有,也被第一个except
给捕获了。
Python所有的错误都是从BaseException
类派生的。
使用try...except
捕获错误还有一个巨大的好处就是可以扩越多层使用,比如函数main()
调用bar()
,bar()
调用foo()
,结果foo()
出错了,这时,只要main()
捕获到了,就可以处理:
def foo(s):
return 10 / int(s)
def bar(s):
return foo(s) * 2
def main():
try:
bar('0')
except Exception as e:
print('Error:', e)
finally:
print('finally...')
也就是说,不需要在每个可能出错的地方去捕获错误,只要在合适的层次去捕获错误就可以了。这样就大大大减少了写try...except...finally
的麻烦。
调用栈
如果错误没有被捕获,它就会一直往上抛,最后被Python解释器捕获,打印一个错误信息,然后程序退出
demo:err.py
:
def foo(s):
return 10 / int(s)
def bar(s):
return foo(s) * 2
def main():
bar('0')
main()
# 运行结果:
Traceback (most recent call last): # 错误的跟踪信息
# 调用main()出错了,在代码文件err.py的第15行代码,但原因是第12行
File "err.py", line 15, in <module>
main()
# 调用bar('0')出错了,在代码文件err.py的第8行,但原因在第4行:
File "err.py", line 12, in main
bar('0')
# 原因是 return foo(s) * 2 这个语句出错了,但这不是最终原因,继续往下看:
File "err.py", line 8, in bar
return foo(s) * 2
# 原因是return 10 / int(s)这个语句出错了,这是错误产生的源头,因为下面打印了 division by zero
File "err.py", line 4, in foo
return 10 / int(s)
ZeroDivisionError: division by zero
# 错误类型是 ZeroDivisionError,判断:int(s) 本身并没有出错,但是int(s)返回0,在计算10/0是出错,至此,找到错误源头。
出错不怕,就怕不知哪出错。解读错误信息是定位错误的关键。
出错的时候,一定要分析错误的调用栈信息,才能定位错误的位置。
记录错误 logging
如果不捕获错误,自然可以让Python解释器来打印出错误堆栈,但程序也被结束了。既然能捕获错误,就可以把错误堆栈打印出来,然后分析错误原因,同时让程序继续下去。
Python内置的logging
模块可以非常容易的记录错误信息:
import logging
def foo(s):
return 10 / int(s)
def bar(s):
return foo(s) * 2
def main():
try:
bar('0')
except Exception as e:
logging.exception(e)
main()
print('end')
同样是出错,但程序打印完错误信息后会继续执行,并正常退出:
ERROR:root:division by zero
Traceback (most recent call last):
File "err_logging.py", line 16, in main
bar('0')
File "err_logging.py", line 11, in bar
return foo(s) * 2
File "err_logging.py", line 7, in foo
return 10 / int(s)
ZeroDivisionError: division by zero
end
通过配置,logging
还可以把错误日志记录到日志文件里,方便事后排查。
抛出错误
错误是class,捕获一个错误就是捕获到该class的一个实例。因此错误并不是凭空产生,而是有意创建并抛出的。Python的内置函数会抛出很多类型的错误,自己编写的函数也可以抛出错误。
如果要抛出错误,首先根据需要可定义一个错误的class,选择好继承关系,然后用raise
语句抛出一个错误的实例:
class FooError(ValueError):
pass
def foo(s):
n = int(s)
if n == 0:
raise FooError('invalid value: %s' % s)
return 10 / n
foo('0')
执行可跟踪到我们自己定义的错误:
Traceback (most recent call last):
File "err_raise.py", line 14, in <module>
foo('0')
File "err_raise.py", line 10, in foo
raise FooError('invalid value: %s' % s)
__main__.FooError: invalid value: 0
只有在必要的时候才定义自己的错误类型,如果可以选择Python已有的内置的错误类型,比如ValueError
,TypeError
,尽量使用Python内置的错误类型。
demo:另一种错误处理的方式:
def foo(s):
n = int(s)
if n == 0:
raise ValueError('invalid value: %s' % s)
return 10 / n
def bar():
try:
foo('0')
except ValueError as e:
print('ValueError')
raise
bar()
# 执行结果:
ValueError
Traceback (most recent call last):
File "err_reraise.py", line 18, in <module>
bar()
File "err_reraise.py", line 12, in bar
foo('0')
File "err_reraise.py", line 6, in foo
raise ValueError('invalid value: %s' % s)
ValueError: invalid value: 0
在bar()
函数中,我们明明已经捕获了错误,但打印了一个ValueError
后,又把错误通过raise
语句抛出去了,为啥?
这种错误处理方式很常见。捕获错误目的只是记录一下,便于后续追踪。但由于当前函数不知道怎么处理该错误。所以最恰当的方式就是继续往上抛,让顶层调用者去处理。
raise
语句如果不带参数,就会把当前错误原样抛出。此外,except
中raise
一个Error,还可以把一种类型的错误转化成另一种类型:
try:
10 / 0
except ZeroDivisionError:
raise ValueError('input error!')
合理的转换逻辑即可,但绝不该把一个IOError
转换成毫不相干的ValueError
。
小结:
- Python内置的
try...except...finally
处理错误十分方便,出错时,会分析错误信息并定位错误发生的代码位置才是最关键的。 - 程序也可以主动抛出错误,让调用者来处理相应的错误。但应该在文档中写清楚可能会抛出哪些错误,以及错误产生的原因。
try...except...else...finally
:执行try
完毕会执行else
,try
中有错误会执行except
不执行else
,finally
不管是否有错都会执行。
2. 测试
bug有的很简单,看下错误信息就知道;有的很复杂,需要知道出错时哪些变量的值是正确的,哪些变量的值是错误的。需要一整套调试程序的手段来修复bug。
方法:
-
print()
把可能有问题的变量打印出来看看,但坏处是还要删掉它 -
断言
assert express, msg
express
为True
,断言通过,msg
忽略;express
为False
,assert
本身返回msg
的信息
可通过-O
(大写字母O)设置是否执行断言,设置后可把断言当成pass
看待 -
logging
import logging logging.basicConfig(level=logging.INFO) # DEBUG、INFO、WARNING、ERROR logging.info(msg)
-
pdb
和pdb.set_trace()
pdb
是单步调试;pdb.set_trace()
可设置暂定点 -
IDE:
vscode
、pycharm
1. print()
def foo(s):
n = int(s)
print('>>> n = %d' % n)
return 10 / n
def main():
foo('0')
main()
# 运行结果:
'''
>>> n = 0
...
'''
2. 断言
凡是用print()
来辅助查看的地方都可以用断言(assert)来替代:
def foo(s):
n = int(s)
assert n != 0, 'n is zero!'
return 10 / n
def main():
foo('0')
main()
# 运行结果:
...
File "assert_test.py", line 25, in foo
assert n != 0, 'n is zero!'
AssertionError: n is zero!
assert
:表达式n != 0
应该是true
,否则根据程序运行的逻辑,后面的代码肯定会出错。如果断言失败,assert
语句本身就会抛出AssertionError
。
程序里到处都是assert
跟print()
差不多都不合适,但启动Python解释器时可用-O
参数(大写的O)关闭assert
:
$ python -O err.py
Traceback (most recent call last):
...
ZeroDivisionError: division by zero
关闭后,可以把所有的assert
当成pass
来看。
3. logging
和assert
相比,logging
不会抛出错误,而且可以输出到文件:
import logging
logging.basicConfig(level=logging.INFO) # 指定logging的level,不指定不输出
s = '0'
n = int(s)
logging.info('n = %d' % n)
print(10 / n)
输出结果有logging信息:INFO:root:n = 0
logging
的好处:
- 可指定记录信息的级别,有
debug
、info
、warning
、error
等几个级别,指定level=INFO
时logging.debug
不起作用;指定level=WARNING
时debug
和info
不起作用。因此可放心输出不同级别的信息,也不用删除,最后统一控制输出哪个级别的信息 - 通过简单的配置,一条语句可同时输出到不同地方,比如console和文件
4. pdb
让程序以单步方式运行,可随时查看运行状态。
demo:
- 准备好程序
pdb_err.py
:
s = '0'
n = int(s)
print(10 / n)
- cmd执行:python -m pdb pdb_err.py
F:\python>python -m pdb pdb_err.py
> f:\python\pdb_err.py(1)<module>()
-> s = '0'
(Pdb) # 等待输入
- 以参数
-m pdb
启动后,pdb定位到下一步要执行的代码-> s = '0'
。可输入命令查看结果,任何时候都可以输入命令p 变量名
来查看变量:
(Pdb) p s
'0'
(Pdb) p n
'0'
q
结束调试,退出程序
但这个也太麻烦。
5. pdb.set_trace()
不需要单步执行,只需import pdb
,再在可能出错的地方放一个pdb_set_trace()
就可以设置一个断点:
import pdb
s = '0'
n = int(s)
pdb.set_trace() # 运行到此会自动暂定
print(10 / n)
cmd运行:
F:\python>pdb_err2.py
> f:\python\pdb_err2.py(6)<module>()
-> print(10 / n)
(Pdb) p n
0
(Pdb) c
Traceback (most recent call last):
File "F:\python\pdb_err2.py", line 6, in <module>
print(10 / n)
ZeroDivisionError: division by zero
运行后程序会自动在pdb.set_trace()
暂停并进入pdb调试环境,使用命令p
查看变量,或使用c
继续执行。
这种方式比直接pdb单步调试效率高很多,但也高不到哪儿去。
IDE
要比较便捷的设置断点、单步执行,就需要一个支持调试功能的IDE,目前较好的python IDE有 vscode
、pycharm
小结:
- 写程序未按期待执行的语句执行时需要 调试
logging
是调试的终极武器
3. 单元测试
测试驱动开发
单元测试是用来对一个模块、一个函数或一个类进行正确性检验的测试工作。
demo:函数abs()
,可编写以下几个测试用例:
- 输出正数,比如
1
、1.2
、0.99
,期待返回值与输入相同; - 输入负数,比如
-1
、-1.2
、-0.99
,期待返回值与输入相反; - 输入
0
,期待返回0
; - 输入非数值类型如
None
、[]
、{}
,期待抛出TypeError
。
把上面的测试用例放在一个测试模块里就是一个完整的单元测试。
单元测试通过,说明测试的这个函数能够正常工作;如果不通过,要么有bug要么测试条件输入不正确。总之,需要修复使单元测试能通过。
单元测试通过的意义:通过说明对功能代码修改不会对其原有的运行造成影响;未通过则说明修改后与原有行为不一致需要修改代码或测试。
以测试为驱动的开发模式最大好处:确保一个程序模块的行为符合设计的测试用例。在将来修改的时候可极大程度的保证该模块行为仍是正确的。
编写单元测试:
-
需要编写一个测试类,继承自
unittest.TestCase
-
以
test
开头的方法就是测试方法,不以test
开头的方法不被认为是测试方法,测试的时候不会被执行 -
对每一个测试都需要编写一个
test_xxx()
方法 -
unittest.TestCase
提供了很多内置的条件判断,只需调用即可断言输出是否是期望的。-
最常用的断言是
assertEqual()
:self.assertEqual(abs(-1), 1) # 断言函数返回的结果与1相等
-
期待抛出指定类型的Error。比如通过
d['empty']
访问不存在的key时,断言会抛出KeyError
:with self.assertRaises(KeyError): value = d['empty']
-
而通过
d.empty
访问不存在的key
时,期待抛出AttributeError
:with self.assertRaises(AttributeError): value = d.empty
-
运行单元测试
写好单元测试就可以运行单元测试。
运行方式:
最简单的运行方式:在mydict_test.py
的最后加上两行代码
if __name__ = '__main__':
unittest.main()
这样就可以把mydict_test.py
当作正常的Python脚本运行:
$python mydict_test.py
在命令行通过参数-m unittest
直接运行单元测试:
$ python -m unittest mydict_test
.....
----------------------------------------------------------------------
Ran 5 tests in 0.000s
OK
- 推荐。可一次性批量运行很多单元测试,并且有很多工具可以自动来测试这些单元测试
setUp 与 tearDown
可在单元测试中编写两个特殊的testUp()
和tearDown()
方法。这两个方法会分别在每调用一个测试方法的前后分别被执行
setUp()
和tearDown()
方法作用:比如测试需要启动一个数据库,这时就可以在setUp()
方法中连接数据库,在tearDown()
方法中关闭数据库。这样不必在每个测试方法中重复相同的代码,写完这两个方法,其他方法运行时都会执行这两个方法。
小结:
- 单元测试可有效的测试某个程序模块的行为,是未来重构代码的信心保证
- 单元测试的测试用例要覆盖常用的输入组合、边界条件和异常
- 单元测试代码要非常简单,如果测试代码太复杂,那测试代码本身就可能有bug
- 单元测试通过了并不意味着程序就没有bug了,但是不通过程序肯定有bug
4. 文档测试
Python内置的“文档测试”(doctest)模块可以直接提取注释中的代码并执行测试。
doctest严格按照Python交互式命令行的输入和输出来判断测试结果是否正确。只有测试异常时,可用...
表示中间一大块烦人的输出。
运行测试脚本,什么也没输出时则证明测试脚本是正常的,有输出则表示有错误。
demo:对函数 fact()`编写doctest并执行,执行后返回空,则表示测试用例没问题
def fact(n):
'''
Calculate 1*2*...*n
>>> fact(1)
1
>>> fact(10)
3628800
>>> fact(-1)
Traceback (most recent call last):
...
ValueError
'''
if n < 1:
raise ValueError()
if n == 1:
return 1
return n * fact(n - 1)
if __name__ == '__main__':
import doctest
doctest.testmod()
小结:
doctest非常有用,不但可以用来测试,还可以直接作为示例代码。通过某些文档生成工具,就可以自动把包含doctest的注释提取出来。用户看文档的时候也看到了doctest。