Tornado Client

参考资料

• http://www.tornadoweb.org/en/stable/httpclient.html

tornado.httpclient

• tornado.httpclient包是Tornado自带的HTTP客户端，可以视为CURL或urllib2。
• tornado.httpclient包包含两个模块，一个是同步模块，一个是异步模块。

对于应用层的网络模型是可以分为同步和异步的，同步意味着当前线程是阻塞的，只有当本次请求完成后才能进行下一次的请求。而异步则意味着所有请求均可以同时塞入缓冲区，因此不会阻塞当前的线程。

Tornado的异步包括两个方面分别为异步服务器和异步客户端，无论是服务器还是客户端，具体的异步模型又可以分为回调函数callback和协程coroutine两种方式。

Tornado客户端的异步特性主要在于AsyncHTTPClient类的使用，此时的应用场景往往是在Tornado服务内，需要针对另外的IO进行请求和处理。

同步HTTP客户端

HTTPClient表示同步方式的HTTP客户端

例如：创建HTTP客户端并访问百度首页

$ vim client.py

#!/usr/bin/env python
# -*- coding:utf-8 -*-

from tornado.httpclient import HTTPClient, HTTPError

# 创建HTTPClient实例
client = HTTPClient()

try:
    # 请求访问URL获取HTTP响应HTTPResponse对象
    response = client.fetch("http://www.baidu.com")
    print(response.body)
except HTTPError as error:
    print(error)

# 关闭HTTPClient
client.close()

$ python client.py

HTTPClient实例的fetch方法用于获取请求所对应的HTTPResponse对象，其原型是

# request可以是一个HTTPRequest对象或一个URL字符串
def fetch(self, requset, **kwargs)

HTTPRequest类和HTTPResponse类定义在httpclient.py文件中

HTTPRequest

HTTPRequest类初始化方法

def __init__(
  self, 
  url, 
  method="GET", 
  headers=None, 
  body=None,
  auth_username=None, 
  auth_password=None, 
  auth_mode=None,
  connect_timeout=None, 
  request_timeout=None,
  if_modified_since=None, 
  follow_redirects=None,
  max_redirects=None, 
  user_agent=None, 
  use_gzip=None,
  network_interface=None, 
  streaming_callback=None,
  header_callback=None, 
  prepare_curl_callback=None,
  proxy_host=None, 
  proxy_port=None, 
  proxy_username=None,
  proxy_password=None, 
  allow_nonstandard_methods=None,
  validate_cert=None, 
  ca_certs=None,
  allow_ipv6=None,
  client_key=None, 
  client_cert=None, 
  body_producer=None,
  expect_100_continue=False, 
  decompress_response=None
):

HTTPRequest类的初始化方法__init__中的关键参数

• url 连接地址
• method 请求方式，默认为GET。
• headers 请求的额外头，可以是HTTPHeader对象也可以是一个字典dict类型。

HTTPResponse

HTTPResponse类表示HTTP响应，其中定义多个字段，关键字段包括：

• request 表示一个HTTPRequest实例
• code 表示HTTP状态码
• reason 表示原因解释
• headers 表示响应头，是一个tornado.httputil.HTTPHeaders实例。
• effective_url 表示经过重定向之后的网址
• body 表示字符串的响应体
• error 表示错误，出错则存在Exception异常实例。
• request_time 表示请求整个过程所消耗的时长，单位为秒。

异步HTTP客户端

Tornado是一个异步的Web框架，这里的异步指的是Tornado服务器与客户端的网络交互是异步的，其根本原因是因为Tornado的底层是基于IOLoopIO事件循环。如果客户端请求服务器处理的handler中存在阻塞的耗时操作，那么服务器的整体性能就会下降。幸运的是，Tornado提供了一套异步机制，方便实现自己的异步操作。当handler处理需要进行其它的网络操作时，Tornado专门提供了一个AsyncHTTPClient的异步HTTP客户端来支持异步操作。

from tornado.httpclient import AsyncHTTPClient

AsyncHTTPClient是tornado.httpclient提供的异步HTTP客户端，与服务进程一样，AsyncHTTPClient包含回调callback和携程yield两种使用方式，区别在于回调方式不会返回结果，而协程方式则会返回响应。

例如：创建HTTP异步客户端访问百度首页

$ vim client.py

#!/usr/bin/env python
# -*- coding:utf-8 -*-

from tornado.httpclient import AsyncHTTPClient
from tornado.ioloop import IOLoop

def handle_request(response):
    print(response)
    if response.error:
        print(response.error)
    else:
        print(response.body)

client = AsyncHTTPClient()
client.fetch("http://www.baidu.com", handle_request)

IOLoop.instance().start()

同步与异步客户端的区别在于，同步方式需要等待完成整个请求，期间CPU是不能做任何事情的。异步方式在发出请求后将继续做其他事情，请求完成后会产生事件来执行handle_request函数。handle_request函数也就是回调函数，和CPU的Interrupt中断机制一样，能够提高程序的运行效率。

client = AsyncHTTPClient()

AsyncHTTPClient是一个异步非阻塞的HTTP客户端，使用AsyncHTTPClient方法需要提供回调函数callback。

client = HTTPClient()

HTTPClient是同步阻塞的HTTP客户端，它是完全同步的，也就是说当HTTPClient发生阻塞时，其他人是无法访问的。