python with语句、contextlib模块

1、阅读下列两篇文章即可:

《廖老师的文章》

《极力推荐文2》

2、with语句

with语句时在Python2.6中出现的新语句。在Python2.6以前,要正确的处理涉及到异常的资源管理时,需要使用try/finally代码结构。如要实现文件在操作出现异常时也能正确关闭,则需要像如下实现:

f = open("test.txt")
try:
    for line in f.readlines():
        print(line)
finally:
    f.close()

不管文件操作有没有出现异常,try/finally中的finnally语句都会执行,从而保证文件的正确关闭。但是很显然Python的设计者们并没有满足于此,他们以希望更简洁更优美的形式来实现资源的清理,而且希望这种清理工作不需要暴露给使用者,所以便出现了with语句。

with语句的基本语法结构如下:

with expression [as variable]:
    with-block

先看下如果用with语句代替上面的try/finally的例子,然后再讨论它的更多细节,如下

with open("text.txt") as f:
    for line in f.readlines()
    print(line)

是不是发现使用with语句相对try/finally来说简洁了很多,而且也不需要每一个用户都去写f.close()来关闭文件了,这是因为with语句在背后做了大量的工作。

with语句的expression是上下文管理器,这个我们下文会说。with语句中的[as variable]是可选的,如果指定了as variable说明符,则variable是上下文管理器expression调用__enter__()函数返回的对象。所以,f并不一定就是expression,而是expression.enter()的返回值,至于expression.enter()返回什么就由这个函数来决定了。with-block是执行语句,with-block执行完毕时,with语句会自动进行资源清理,对应上面例子就是with语句会自动关闭文件。

下面我们来具体说下with语句在背后默默无闻地到底做了哪些事情。刚才我们说了expression是一个上下文管理器,其实现了__enter__和__exit__两个函数。当我们调用一个with语句时,执行过程如下:

1.首先生成一个上下文管理器expression,在上面例子中with语句首先以“test.txt”作为参数生成一个上下文管理器open(“test.txt”)。

2.然后执行expression.enter()。如果指定了[as variable]说明符,将__enter__()的返回值赋给variable。上例中open(“test.txt”).enter()返回的是一个文件对象给f。

3.执行with-block语句块。上例中执行读取文件。

4.执行expression.exit(),在__exit__()函数中可以进行资源清理工作。上面例子中就是执行文件的关闭操作。

with语句不仅可以管理文件,还可以管理锁、连接等等,如下面的例子:

#管理锁
import  threading
lock = threading.lock()
with lock:
    #执行一些操作
    pass

3、上下文管理器

在上文中我们提到with语句中的上下文管理器。with语句可以如此简单但强大,主要依赖于上下文管理器。

那么什么是上下文管理器?上下文管理器就是实现了上下文协议的类,而上下文协议就是一个类要实现__enter__()和__exit__()两个方法。一个类只要实现了__enter__()和__exit__(),我们就称之为上下文管理器下面我们具体说下这两个方法。

enter():主要执行一些环境准备工作,同时返回一资源对象。如果上下文管理器open(“test.txt”)的__enter__()函数返回一个文件对象。

exit():完整形式为__exit__(type, value, traceback),这三个参数和调用sys.exec_info()函数返回值是一样的,分别为异常类型、异常信息和堆栈。如果执行体语句没有引发异常,则这三个参数均被设为None。否则,它们将包含上下文的异常信息。exit()方法返回True或False,分别指示被引发的异常有没有被处理,如果返回False,引发的异常将会被传递出上下文。如果__exit_()函数内部引发了异常,则会覆盖掉执行体的中引发的异常。处理异常时,不需要重新抛出异常,只需要返回False,with语句会检测__exit__()返回False来处理异常。

如果我们要自定义一个上下文管理器,只需要定义一个类并且是实现__enter__()和__exit__()即可。下面通过一个简单的例子是演示如果新建自定义的上下文管理器,我们以数据库的连接为例。在使用数据库时,有时要涉及到事务操作。数据库的事务操作当调用commit()执行sql命令时,如果在这个过程中执行失败,则需要执行rollback()回滚数据库,通常实现方式可能如下:

def test_write():
    con = MySQLdb.connection()
    cursor = con.cursor()
    sql = """      #具体的sql语句
    """
    try:
        cursor.execute(sql)
        cursor.execute(sql)
        cursor.execute(sql)
        con.commit()      #提交事务
    except Exception as ex:
        con.rollback()    #事务执行失败,回滚数据库

如果想通过with语句来实现数据库执行失败的回滚操作,则我们需要自定义一个数据库连接的上下文管理器,假设为DBConnection,则我们将上面例子用with语句来实现的话,应该是这样子的,如下:

def test_write():
    sql = """      #具体的sql语句
    """
    con = DBConnection()
    with con as cursor:   
        cursor.execute(sql)
        cursor.execute(sql)
        cursor.execute(sql)

要实现上面with语句的功能,则我们的DBConnection数据库上下文管理器则需要提供一下功能:enter()要返回一个连接的cursor; 当没有异常发生是,exit()函数commit所有的数据库操作。如果有异常发生则_exit__()会回滚数据库,调用rollback()。所以我们可以实现DBConnection如下:

def DBConnection(object):
	def __init__(self):
    	pass
 	def cursor(self):
		#返回一个游标并且启动一个事务
		pass
	def commit(self):
		#提交当前事务
		pass
	def rollback(self):
		#回滚当前事务
		pass
	def __enter__(self):
		#返回一个cursor
		cursor = self.cursor()
		return cursor
	def __exit__(self, type, value, tb):
		if tb is None:
			#没有异常则提交事务
            self.commit() 
		else:
			#有异常则回滚数据库
			self.rollback()

4、contextlib模块

contextmanage对象

上文提到如果我们要实现一个自定义的上下文管理器,需要定义一个实现了__enter__和__exit__两个方法的类, 这显示不是很方便。

Python的contextlib模块给我们提供了更方便的方式来实现一个自定义的上下文管理器。

contextlib模块包含一个装饰器contextmanager和一些辅助函数,装饰器contextmanager只需要写一个生成器函数就可以代替自定义的上下文管理器。**换句话:上下文管理器 = 装饰器 + 生成器。**典型用法如下:

需要使用yield先定义一个生成器函数.

@contextmanager
def some_generator(<arguments>):
	<setup>
	try:
    	yield <value>
    finally:
        <cleanup>

然后便可以用with语句调用contextmanage生成的上下文管理器了,with语句用法如下:

with some_generator(<arguments>) as <variable>:
            <body>

生成器函数some_generator就和我们普通的函数一样,它的原理如下:

some_generator函数在在yield之前的代码等同于上下文管理器中的__enter__函数。
yield的返回值等同于__enter__函数的返回值,即如果with语句声明了as ,则yield的值会赋给variable

然后执行代码块,等同于上下文管理器的__exit__函数。此时发生的任何异常都会再次通过yield函数返回。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值