7.错误、调试和测试

Python内置了一套异常处理机制，来帮助我们进行错误处理。
我们也需要跟踪程序的执行，查看变量的值是否正确，这个过程称为调试。Python的pdb可以让我们以单步方式执行代码。
编写测试也很重要。有了良好的测试，就可以在程序修改后反复运行，确保程序输出符合我们编写的测试。

错误处理

在程序运行的过程中，如果发生了错误，可以事先约定返回一个错误代码，这样就可以知道是否有错以及出错的原因
在操作系统提供的调用中，返回错误码非常常见。比如打开文件的函数open()，成功时返回文件描述符（就是一个整数），出错时返回-1。
用错误码来表示是否出错十分不便，因为函数本身应该返回的正常结果和错误码混在一起，造成调用者必须用大量的代码来判断是否出错：一旦出错，还要一级一级上报，直到某个函数可以处理该错误（比如，给用户输出一个错误信息）。
高级语言通常都内置了一套try…except…finally…的错误处理机制

try

当我们认为某些代码可能会出错时，就可以用try来运行这段代码，如果执行出错，则后续代码不会继续执行，而是直接跳转至错误处理代码，即except语句块，执行完except后，如果有finally语句块，则执行finally语句块，至此，执行完毕。

try:
    print('try...')
    r = 10 / 0
    print('result:', r)
# 可以有多个except来捕获不同类型的错误：
except ValueError as e:
    print('ValueError:', e)
except ZeroDivisionError as e:
    print('except:', e)
# 如果没有错误发生，可以在except语句块后面加一个else
# 当没有错误发生时，会自动执行else语句
else:
    print('no error!')

finally:
    print('finally...')
print('END')

Python的错误其实也是class，所有的错误类型都继承自BaseException，所以在使用except时需要注意的是，它不但捕获该类型的错误，还把其子类也“一网打尽”。
Python所有的错误都是从BaseException类派生的，常见的错误类型和继承关系看这里
使用try…except捕获错误可以跨越多层调用，比如函数main()调用bar()，bar()调用foo()，结果foo()出错了，这时，只要main()捕获到了，就可以处理。因此，不需要在每个可能出错的地方去捕获错误，只要在合适的层次去捕获错误就可以了

调用栈

如果错误没有被捕获，它就会一直往上抛，最后被Python解释器捕获，打印一个错误信息，然后程序退出。
出错的时候，一定要分析错误的调用栈信息，才能定位错误的位置

记录错误

如果不捕获错误，自然可以让Python解释器来打印出错误堆栈，但程序也被结束了。既然我们能捕获错误，就可以把错误堆栈打印出来，然后分析错误原因，同时，让程序继续执行下去。
Python内置的logging模块可以非常容易地记录错误信息
通过配置，logging还可以把错误记录到日志文件里，方便事后排查。

# err_logging.py

import logging

def foo(s):
    return 10 / int(s)

def bar(s):
    return foo(s) * 2

def main():
    try:
        bar('0')
    except Exception as e:
        logging.exception(e)

main()
print('END')

上述程序输出：

ERROR:root:division by zero
Traceback (most recent call last):
  File "err_logging.py", line 13, in main
    bar('0')
  File "err_logging.py", line 9, in bar
    return foo(s) * 2
  File "err_logging.py", line 6, in foo
    return 10 / int(s)
ZeroDivisionError: division by zero
END

抛出错误

程序可以主动抛出错误，让调用者来处理相应的错误。但是，应该在文档中写清楚可能会抛出哪些错误，以及错误产生的原因
因为错误是class，捕获一个错误就是捕获到该class的一个实例。因此，错误并不是凭空产生的，而是有意创建并抛出的。Python的内置函数会抛出很多类型的错误，我们自己编写的函数也可以抛出错误。
如果要抛出错误，首先根据需要，可以定义一个错误的class，选择好继承关系，然后，用raise语句抛出一个错误的实例
只有在必要的时候才定义我们自己的错误类型。如果可以选择Python已有的内置的错误类型（比如ValueError，TypeError），尽量使用Python内置的错误类型。
一种常见的错误处理方式：

def foo(s):
    n = int(s)
    if n==0:
        raise ValueError('invalid value: %s' % s)
    return 10 / n
# 在bar()函数中已经捕获了错误，打印一个ValueError!
# 此后，又把错误通过raise语句抛出去
# 获错误目的只是记录一下，便于后续追踪。
# 由于当前函数不知道应该怎么处理该错误，最恰当的方式是继续往上抛，让顶层调用者处理
def bar():
    try:
        foo('0')
    except ValueError as e:
        print('ValueError!')
        raise # raise语句如果不带参数，就会把当前错误原样抛出

bar()

练习

运行下面的代码，根据异常信息进行分析，定位出错误源头，并修复：

from functools import reduce

def str2num(s):
    return int(s)

def calc(exp):
    ss = exp.split('+')
    ns = map(str2num, ss)
    return reduce(lambda acc, x: acc + x, ns)

def main():
    r = calc('100 + 200 + 345')
    print('100 + 200 + 345 =', r)
    r = calc('99 + 88 + 7.6')
    print('99 + 88 + 7.6 =', r)

main()

打印错误信息为

100 + 200 + 345 = 645
Traceback (most recent call last):
  File "/app/main.py", line 18, in <module>
    main()
  File "/app/main.py", line 15, in main
    r = calc('99 + 88 + 7.6')
  File "/app/main.py", line 10, in calc
    return reduce(lambda acc, x: acc + x, ns)
  File "/app/main.py", line 5, in str2num
    return int(s)
ValueError: invalid literal for int() with base 10: ' 7.6'

将str2num(s)的return改为float(s)即可

调试

用print()辅助调试的地方，都可以用断言（assert）来替代

def foo(s):
    n = int(s)
    # assert的意思是，表达式n != 0应该是True，否则，根据程序运行的逻辑，后面的代码肯定会出错。
    # 如果断言失败，assert语句本身就会抛出AssertionError，外加字符串信息
    assert n != 0, 'n is zero!'
    return 10 / n

def main():
    foo('0')

把print()替换为logging更好，和assert比，logging不会抛出错误，而且可以输出到文件

import logging
logging.basicConfig(level=logging.INFO)
s = '0'
n = int(s)
logging.info('n = %d' % n)
print(10 / n)

logging允许指定记录信息的级别，有debug，info，warning，error等几个级别
当指定level=INFO时，logging.debug就不起作用。
指定level=WARNING后，debug和info就不起作用。
可以放心地输出不同级别的信息，也不用删除，最后统一控制输出哪个级别的信息。
logging的另一个好处是通过简单的配置，一条语句可以同时输出到不同的地方，比如console和文件。

另一种方式是启动Python的调试器pdb，让程序以单步方式运行，可以随时查看运行状态。通过pdb.set_trace()设置断点，
IDE调试是最方便的。虽然用IDE调试起来比较方便，但是logging才是终极武器

单元测试

单元测试是用来对一个模块、一个函数或者一个类来进行正确性检验的测试工作
如果单元测试通过，说明我们测试的这个函数能够正常工作。如果单元测试不通过，要么函数有bug，要么测试条件输入不正确，总之，需要修复使单元测试能够通过。
以测试为驱动的开发模式最大的好处就是确保一个程序模块的行为符合我们设计的测试用例。在将来修改的时候，可以极大程度地保证该模块行为仍然是正确的。
为了编写单元测试，我们需要引入Python自带的unittest模块，编写一个测试类，从unittest.TestCase继承
以test开头的方法就是测试方法，不以test开头的方法不被认为是测试方法，测试的时候不会被执行。
对每一类测试都需要编写一个test_xxx()方法。由于unittest.TestCase提供了很多内置的条件判断，我们只需要调用这些方法就可以断言输出是否是我们所期望的。最常用的断言就是assertEqual()，还有期待抛出指定类型的Error

self.assertEqual(abs(-1), 1) # 断言函数返回的结果与1相等

# 通过d['empty']访问不存在的key时，断言会抛出KeyError
with self.assertRaises(KeyError):
    value = d['empty']

# 通过d.empty访问不存在的key时，期待抛出AttributeError
with self.assertRaises(AttributeError):
    value = d.empty

运行单元测试，推荐在命令行通过参数-m unittest直接运行单元测试，这样可以一次批量运行很多单元测试，并且，有很多工具可以自动来运行这些单元测试。除外，还可以在测试程序的最后加上以下两行代码，把测试程序当做正常的python脚本运行

if __name__ == '__main__':
    unittest.main()

可以在单元测试中编写两个特殊的setUp()和tearDown()方法。这两个方法会分别在每调用一个测试方法的前后分别被执行。这样，不必在每个测试方法中重复相同的代码

练习

对Student类编写单元测试。请修改Student类，让测试通过：

# -*- coding: utf-8 -*-
import unittest
class Student(object):
    def __init__(self, name, score):
        self.name = name
        self.score = score
    def get_grade(self):
        if (self.score < 0 or self.score >100):
            raise ValueError
        elif self.score >= 80:
            return 'A'
        elif self.score >= 60:
            return 'B'
        else:
            return 'C'

class TestStudent(unittest.TestCase):

    def test_80_to_100(self):
        s1 = Student('Bart', 80)
        s2 = Student('Lisa', 100)
        self.assertEqual(s1.get_grade(), 'A')
        self.assertEqual(s2.get_grade(), 'A')

    def test_60_to_80(self):
        s1 = Student('Bart', 60)
        s2 = Student('Lisa', 79)
        self.assertEqual(s1.get_grade(), 'B')
        self.assertEqual(s2.get_grade(), 'B')

    def test_0_to_60(self):
        s1 = Student('Bart', 0)
        s2 = Student('Lisa', 59)
        self.assertEqual(s1.get_grade(), 'C')
        self.assertEqual(s2.get_grade(), 'C')

    def test_invalid(self):
        s1 = Student('Bart', -1)
        s2 = Student('Lisa', 101)
        with self.assertRaises(ValueError):
            s1.get_grade()
        with self.assertRaises(ValueError):
            s2.get_grade()

if __name__ == '__main__':
    unittest.main()

文档测试

doctest非常有用，不但可以用来测试，还可以直接作为示例代码。通过某些文档生成工具，就可以自动把包含doctest的注释提取出来。用户看文档的时候，同时也看到了doctest
doctest严格按照Python交互式命令行的输入和输出来判断测试结果是否正确。只有测试异常的时候，可以用…表示中间一大段烦人的输出
当模块正常导入时，doctest不会被执行。只有在命令行直接运行时，才执行doctest。所以，不必担心doctest会在非测试环境下执行

练习

对函数fact(n)编写doctest并执行：

# -*- coding: utf-8 -*-
def fact(n):
    '''
    Calculate 1*2*...*n
    
    >>> fact(1)
    1
    >>> fact(10)
    3628800
    >>> fact(-1)
    Traceback (most recent call last):
    ...
    ValueError
    '''
    if n < 1:
        raise ValueError()
    if n == 1:
        return 1
    return n * fact(n - 1)

if __name__ == '__main__':
    import doctest
    doctest.testmod()