Python笔记4（错误、调试和测试）

8. 错误、调试和测试

异常：比如写文件时磁盘满了，写不进去了；从网络抓取数据，网络突然断掉了。这类错误必须处理。

调试：跟踪程序的运行，查看变量的值是否正确。Python的pdb可让我们以单步方式执行代码。

测试：编写测试很重要，有良好的测试，就可以在程序修改后反复运行，确保程序输出符合我们编写的测试。

1. 错误处理

在程序运行的过程中，如果发生了错误，可事先约定返回一个错误代码，这样就可以知道是否有错以及出错的原因。在操作系统提供的调用中，返回错误码非常常见。比如打开文件的函数open()，成功时返回文件描述符(就是一个整数)，出错时返回-1。

用错误码表示是否出错十分不便，因为函数本身应该返回的正常结果和错误码混在一起，造成调用者必须用大量的代码来判断是否出错：

def foo():
    r = some_function()
    if r == (-1):
        return (-1)
    # do something
    return r


def bar():
    r = foo()
    if r == (-1):
        print('Error')
    else:
        pass

一旦出错，还要一级一级上报，直到某个函数可以处理该错误(比如给用户输出一个错误信息)。

高级语言通常都内置了一套try...except...finally...的错误处理机制，Python也不例外。

try

demo：try的机制

try--except--finally

try:
    print('try...')
    r = 10 / 0
    print('result:', r)
except ZeroDivisionError as e:
    print('except:', e)
finally:
    print('finally...')
print('end')

用try执行可能出错的代码，如果执行出错则不会继续执行，而是跳转到错误处理代码，即except语句块，执行完except后，如果有finally则执行finally语句块。至此，执行完毕。

上面代码在计算10/0产生除法运算错误：

try...
except: division by zero
finally...
end

从输出可看出，当错误发生时，后续语句print('result:', r)不会执行，except由于捕获到ZeroDivisionError，因此被执行。最后，finally语句块被执行，然后，程序继续按照流程往下走。

如果把0改成2，则执行结果如下：

try...
result: 5.0
finally...
end

由于没有发生错误，所以except语句块不会被执行，但finally有就会被执行，也可以没有finally。

int()函数可能会抛出ValueError，用except捕获ValueError，用另一个except捕获ZeroDivisionError。

如果没有错误发生，可在except语句块后面加一个else，当没有错误发生时，会自动执行else语句：

try--except--esle--finally

try:
    print('try...')
    r = 10 / 2
    print('result:', r)
except ZeroDivisionError as e:
    print('except:', e)
finally:
    print('finally...')
print('end')
'''
try...
result: 5.0
no error!
finally...
end
'''

Python的错误其实也是class，所有的错误类型都继承自BaseException，所以在使用except是需要注意它不但获取该类型的错误，还把其子类“一网打尽”，比如：

try:
    foo()
except ValueError as e:
    print('ValueError')
except UnicodeError as e:
    print('UnicodeError')

第二个except永远也捕获不到UnicodeError，因为UnicodeError是ValueError的子类，如果有，也被第一个except给捕获了。

Python所有的错误都是从BaseException类派生的。

使用try...except捕获错误还有一个巨大的好处就是可以扩越多层使用，比如函数main()调用bar()，bar()调用foo()，结果foo()出错了，这时，只要main()捕获到了，就可以处理：

def foo(s):
    return 10 / int(s)

def bar(s):
    return foo(s) * 2

def main():
    try:
        bar('0')
    except Exception as e:
        print('Error:', e)
    finally:
        print('finally...')

也就是说，不需要在每个可能出错的地方去捕获错误，只要在合适的层次去捕获错误就可以了。这样就大大大减少了写try...except...finally的麻烦。

调用栈

如果错误没有被捕获，它就会一直往上抛，最后被Python解释器捕获，打印一个错误信息，然后程序退出
demo：err.py：

def foo(s):
    return 10 / int(s)

def bar(s):
    return foo(s) * 2

def main():
    bar('0')

main()

# 运行结果：
Traceback (most recent call last):  # 错误的跟踪信息
# 调用main()出错了，在代码文件err.py的第15行代码，但原因是第12行
  File "err.py", line 15, in <module>
    main()
# 调用bar('0')出错了，在代码文件err.py的第8行，但原因在第4行：
  File "err.py", line 12, in main
    bar('0')
# 原因是 return foo(s) * 2 这个语句出错了，但这不是最终原因，继续往下看：
  File "err.py", line 8, in bar
    return foo(s) * 2
# 原因是return 10 / int(s)这个语句出错了，这是错误产生的源头，因为下面打印了 division by zero
  File "err.py", line 4, in foo
    return 10 / int(s)
ZeroDivisionError: division by zero
# 错误类型是 ZeroDivisionError，判断：int(s) 本身并没有出错，但是int(s)返回0，在计算10/0是出错，至此，找到错误源头。

出错不怕，就怕不知哪出错。解读错误信息是定位错误的关键。

出错的时候，一定要分析错误的调用栈信息，才能定位错误的位置。

记录错误 logging

如果不捕获错误，自然可以让Python解释器来打印出错误堆栈，但程序也被结束了。既然能捕获错误，就可以把错误堆栈打印出来，然后分析错误原因，同时让程序继续下去。

Python内置的logging模块可以非常容易的记录错误信息：

import logging

def foo(s):
    return 10 / int(s)

def bar(s):
    return foo(s) * 2

def main():
    try:
        bar('0')
    except Exception as e:
        logging.exception(e)

main()
print('end')

同样是出错，但程序打印完错误信息后会继续执行，并正常退出：

ERROR:root:division by zero
Traceback (most recent call last):
  File "err_logging.py", line 16, in main
    bar('0')
  File "err_logging.py", line 11, in bar
    return foo(s) * 2
  File "err_logging.py", line 7, in foo
    return 10 / int(s)
ZeroDivisionError: division by zero
end

通过配置，logging还可以把错误日志记录到日志文件里，方便事后排查。

抛出错误

错误是class，捕获一个错误就是捕获到该class的一个实例。因此错误并不是凭空产生，而是有意创建并抛出的。Python的内置函数会抛出很多类型的错误，自己编写的函数也可以抛出错误。

如果要抛出错误，首先根据需要可定义一个错误的class，选择好继承关系，然后用raise语句抛出一个错误的实例：

class FooError(ValueError):
    pass

def foo(s):
    n = int(s)
    if n == 0:
        raise FooError('invalid value: %s' % s)
    return 10 / n

foo('0')

执行可跟踪到我们自己定义的错误：

Traceback (most recent call last):
  File "err_raise.py", line 14, in <module>
    foo('0')
  File "err_raise.py", line 10, in foo
    raise FooError('invalid value: %s' % s)
__main__.FooError: invalid value: 0

只有在必要的时候才定义自己的错误类型，如果可以选择Python已有的内置的错误类型，比如ValueError，TypeError，尽量使用Python内置的错误类型。

demo：另一种错误处理的方式：

def foo(s):
    n = int(s)
    if n == 0:
        raise ValueError('invalid value: %s' % s)
    return 10 / n

def bar():
    try:
        foo('0')
    except ValueError as e:
        print('ValueError')
        raise

bar()

# 执行结果：
ValueError
Traceback (most recent call last):
  File "err_reraise.py", line 18, in <module>
    bar()
  File "err_reraise.py", line 12, in bar
    foo('0')
  File "err_reraise.py", line 6, in foo
    raise ValueError('invalid value: %s' % s)
ValueError: invalid value: 0

在bar()函数中，我们明明已经捕获了错误，但打印了一个ValueError后，又把错误通过raise语句抛出去了，为啥？

这种错误处理方式很常见。捕获错误目的只是记录一下，便于后续追踪。但由于当前函数不知道怎么处理该错误。所以最恰当的方式就是继续往上抛，让顶层调用者去处理。

raise语句如果不带参数，就会把当前错误原样抛出。此外，except中raise一个Error，还可以把一种类型的错误转化成另一种类型：

try:
	10 / 0
except ZeroDivisionError:
	raise ValueError('input error!')

合理的转换逻辑即可，但绝不该把一个IOError转换成毫不相干的ValueError。

小结：

• Python内置的try...except...finally处理错误十分方便，出错时，会分析错误信息并定位错误发生的代码位置才是最关键的。
• 程序也可以主动抛出错误，让调用者来处理相应的错误。但应该在文档中写清楚可能会抛出哪些错误，以及错误产生的原因。
• try...except...else...finally：执行try完毕会执行else，try中有错误会执行except不执行else，finally不管是否有错都会执行。

2. 测试

bug有的很简单，看下错误信息就知道；有的很复杂，需要知道出错时哪些变量的值是正确的，哪些变量的值是错误的。需要一整套调试程序的手段来修复bug。

方法:

• print() 把可能有问题的变量打印出来看看，但坏处是还要删掉它

• 断言 assert express, msg
express为True，断言通过，msg忽略；express为False，assert本身返回msg的信息
  可通过 -O (大写字母O)设置是否执行断言，设置后可把断言当成pass看待

• logging

   import logging
   logging.basicConfig(level=logging.INFO)  # DEBUG、INFO、WARNING、ERROR
   logging.info(msg)
  

• pdb 和 pdb.set_trace()
pdb是单步调试；pdb.set_trace()可设置暂定点

• IDE：vscode、pycharm

1. print()

def foo(s):
    n = int(s)
    print('>>> n = %d' % n)
    return 10 / n

def main():
    foo('0')

main()

# 运行结果：
'''
>>> n = 0
...
'''

2. 断言

凡是用print()来辅助查看的地方都可以用断言(assert)来替代：

def foo(s):
    n = int(s)
    assert n != 0, 'n is zero!'
    return 10 / n

def main():
    foo('0')

main()

# 运行结果：
...
File "assert_test.py", line 25, in foo
    assert n != 0, 'n is zero!'
AssertionError: n is zero!

assert：表达式n != 0应该是true，否则根据程序运行的逻辑，后面的代码肯定会出错。如果断言失败，assert语句本身就会抛出AssertionError。

程序里到处都是assert跟print()差不多都不合适，但启动Python解释器时可用-O参数(大写的O)关闭assert:

$ python -O err.py
Traceback (most recent call last):
...
ZeroDivisionError: division by zero

关闭后，可以把所有的assert当成pass来看。

3. logging

和assert相比，logging不会抛出错误，而且可以输出到文件：

import logging
logging.basicConfig(level=logging.INFO)  # 指定logging的level，不指定不输出

s = '0'
n = int(s)
logging.info('n = %d' % n)
print(10 / n)

输出结果有logging信息：INFO:root:n = 0

logging的好处：

• 可指定记录信息的级别，有debug、info、warning、error等几个级别，指定level=INFO时logging.debug不起作用；指定level=WARNING时debug和info不起作用。因此可放心输出不同级别的信息，也不用删除，最后统一控制输出哪个级别的信息
• 通过简单的配置，一条语句可同时输出到不同地方，比如console和文件

4. pdb

让程序以单步方式运行，可随时查看运行状态。

demo:

• 准备好程序 pdb_err.py：

s = '0'
n = int(s)
print(10 / n)

• cmd执行：python -m pdb pdb_err.py

F:\python>python -m pdb pdb_err.py
> f:\python\pdb_err.py(1)<module>()
-> s = '0'
(Pdb)  # 等待输入

• 以参数-m pdb启动后，pdb定位到下一步要执行的代码-> s = '0'。可输入命令查看结果，任何时候都可以输入命令p 变量名来查看变量：

(Pdb) p s
'0'
(Pdb) p n
'0'

• q结束调试，退出程序

但这个也太麻烦。

5. pdb.set_trace()

不需要单步执行，只需import pdb，再在可能出错的地方放一个pdb_set_trace()就可以设置一个断点：

import pdb

s = '0'
n = int(s)
pdb.set_trace()  # 运行到此会自动暂定
print(10 / n)

cmd运行：

F:\python>pdb_err2.py
> f:\python\pdb_err2.py(6)<module>()
-> print(10 / n)
(Pdb) p n
0
(Pdb) c
Traceback (most recent call last):
  File "F:\python\pdb_err2.py", line 6, in <module>
    print(10 / n)
ZeroDivisionError: division by zero

运行后程序会自动在pdb.set_trace()暂停并进入pdb调试环境，使用命令p查看变量，或使用c继续执行。

这种方式比直接pdb单步调试效率高很多，但也高不到哪儿去。

IDE

要比较便捷的设置断点、单步执行，就需要一个支持调试功能的IDE，目前较好的python IDE有 vscode、pycharm

小结：

• 写程序未按期待执行的语句执行时需要 调试
• logging 是调试的终极武器

3. 单元测试

测试驱动开发

单元测试是用来对一个模块、一个函数或一个类进行正确性检验的测试工作。

demo：函数abs()，可编写以下几个测试用例：

• 输出正数，比如1、1.2、0.99，期待返回值与输入相同；
• 输入负数，比如-1、-1.2、-0.99，期待返回值与输入相反；
• 输入0，期待返回0；
• 输入非数值类型如None、[]、{}，期待抛出TypeError。

把上面的测试用例放在一个测试模块里就是一个完整的单元测试。

单元测试通过，说明测试的这个函数能够正常工作；如果不通过，要么有bug要么测试条件输入不正确。总之，需要修复使单元测试能通过。

单元测试通过的意义：通过说明对功能代码修改不会对其原有的运行造成影响；未通过则说明修改后与原有行为不一致需要修改代码或测试。

以测试为驱动的开发模式最大好处：确保一个程序模块的行为符合设计的测试用例。在将来修改的时候可极大程度的保证该模块行为仍是正确的。

编写单元测试：

• 需要编写一个测试类，继承自 unittest.TestCase

• 以test开头的方法就是测试方法，不以test开头的方法不被认为是测试方法，测试的时候不会被执行

• 对每一个测试都需要编写一个test_xxx()方法

• unittest.TestCase提供了很多内置的条件判断，只需调用即可断言输出是否是期望的。

  • 最常用的断言是assertEqual()：

     self.assertEqual(abs(-1), 1)  # 断言函数返回的结果与1相等
    

  • 期待抛出指定类型的Error。比如通过d['empty']访问不存在的key时，断言会抛出KeyError：

     with self.assertRaises(KeyError):
     	value = d['empty']
    

  • 而通过d.empty访问不存在的key时，期待抛出AttributeError：

     with self.assertRaises(AttributeError):
     	value = d.empty
    

运行单元测试

写好单元测试就可以运行单元测试。

运行方式：

最简单的运行方式：在mydict_test.py的最后加上两行代码

if __name__ = '__main__':
	unittest.main()

这样就可以把mydict_test.py当作正常的Python脚本运行：

$python mydict_test.py

在命令行通过参数-m unittest直接运行单元测试：

$ python -m unittest mydict_test
.....
----------------------------------------------------------------------
Ran 5 tests in 0.000s

OK

- 推荐。可一次性批量运行很多单元测试，并且有很多工具可以自动来测试这些单元测试

setUp 与 tearDown

可在单元测试中编写两个特殊的testUp()和tearDown()方法。这两个方法会分别在每调用一个测试方法的前后分别被执行

setUp()和tearDown()方法作用：比如测试需要启动一个数据库，这时就可以在setUp()方法中连接数据库，在tearDown()方法中关闭数据库。这样不必在每个测试方法中重复相同的代码，写完这两个方法，其他方法运行时都会执行这两个方法。

小结:

• 单元测试可有效的测试某个程序模块的行为，是未来重构代码的信心保证
• 单元测试的测试用例要覆盖常用的输入组合、边界条件和异常
• 单元测试代码要非常简单，如果测试代码太复杂，那测试代码本身就可能有bug
• 单元测试通过了并不意味着程序就没有bug了，但是不通过程序肯定有bug

4. 文档测试

Python内置的“文档测试”(doctest)模块可以直接提取注释中的代码并执行测试。

doctest严格按照Python交互式命令行的输入和输出来判断测试结果是否正确。只有测试异常时，可用...表示中间一大块烦人的输出。

运行测试脚本，什么也没输出时则证明测试脚本是正常的，有输出则表示有错误。

demo：对函数 fact()`编写doctest并执行，执行后返回空，则表示测试用例没问题

def fact(n):
    '''
    Calculate 1*2*...*n
    
    >>> fact(1)
    1
    >>> fact(10)
    3628800
    >>> fact(-1)
    Traceback (most recent call last):
        ...
    ValueError
    '''
    if n < 1:
        raise ValueError()
    if n == 1:
        return 1
    return n * fact(n - 1)

if __name__ == '__main__':
    import doctest
    doctest.testmod()

小结：

doctest非常有用，不但可以用来测试，还可以直接作为示例代码。通过某些文档生成工具，就可以自动把包含doctest的注释提取出来。用户看文档的时候也看到了doctest。