python基于http协议编程：httplib,urllib和urllib2

httplib实现了HTTP和HTTPS的客户端协议，一般不直接使用，在python更高层的封装模块中（urllib,urllib2）使用了它的http实现。

import httplib
conn = httplib.HTTPConnection( " google.com " )
conn.request( ' get ' , ' / ' )
print conn.getresponse().read()
conn.close()

httplib.HTTPConnection ( host [ , port [ , strict [ , timeout ]]] )

       HTTPConnection类的构造函数，表示一次与服务器之间的交互，即请求/响应。参数host表示服务器主机，如：http://www.csdn.net/；port为端口号，默认值为80； 参数strict的 默认值为false， 表示在无法解析服务器返回的状态行时( status line) （比较典型的状态行如： HTTP/1.0 200 OK ），是否抛BadStatusLine 异常；可选参数timeout 表示超时时间。
HTTPConnection提供的方法：

HTTPConnection.request ( method , url [ , body [ , headers ]] )

调用request 方法会向服务器发送一次请求，method 表示请求的方法，常用有方法有get 和post ；url 表示请求的资源的url ；body 表示提交到服务器的数据，必须是字符串（如果method 是”post” ，则可以把body 理解为html 表单中的数据）；headers 表示请求的http 头。
HTTPConnection.getresponse ()
获取Http 响应。返回的对象是HTTPResponse 的实例，关于HTTPResponse 在下面 会讲解。
HTTPConnection.connect ()
连接到Http 服务器。
HTTPConnection.close ()
关闭与服务器的连接。
HTTPConnection.set_debuglevel ( level )
设置高度的级别。参数level 的默认值为0 ，表示不输出任何调试信息。
httplib.HTTPResponse
HTTPResponse表示服务器对客户端请求的响应。往往通过调用HTTPConnection.getresponse()来创建，它有如下方法和属性：
HTTPResponse.read([amt])
获取响应的消息体。如果请求的是一个普通的网页，那么该方法返回的是页面的html。可选参数amt表示从响应流中读取指定字节的数据。
HTTPResponse.getheader(name[, default])
获取响应头。Name表示头域(header field)名，可选参数default在头域名不存在的情况下作为默认值返回。
HTTPResponse.getheaders()
以列表的形式返回所有的头信息。
HTTPResponse.msg
获取所有的响应头信息。
HTTPResponse.version
获取服务器所使用的http协议版本。11表示http/1.1；10表示http/1.0。
HTTPResponse.status
获取响应的状态码。如：200表示请求成功。
HTTPResponse.reason
返回服务器处理请求的结果说明。一般为”OK”
下面通过一个例子来熟悉HTTPResponse中的方法：

 
 

  
  

   
   import
   
    httplib
conn 
   
   =
   
    httplib.HTTPConnection(
   
   "
   
   www.g.com
   
   "
   
   , 
   
   80
   
   , False)
conn.request(
   
   '
   
   get
   
   '
   
   , 
   
   '
   
   /
   
   '
   
   , headers 
   
   =
   
    {
   
   "
   
   Host
   
   "
   
   : 
   
   "
   
   www.google.com
   
   "
   
   ,
                                    
   
   "
   
   User-Agent
   
   "
   
   : 
   
   "
   
   Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1) Gecko/20090624 Firefox/3.5
   
   "
   
   ,
                                    
   
   "
   
   Accept
   
   "
   
   : 
   
   "
   
   text/plain
   
   "
   
   })
res 
   
   =
   
    conn.getresponse()

   
   print
   
    
   
   '
   
   version:
   
   '
   
   , res.version

   
   print
   
    
   
   '
   
   reason:
   
   '
   
   , res.reason

   
   print
   
    
   
   '
   
   status:
   
   '
   
   , res.status

   
   print
   
    
   
   '
   
   msg:
   
   '
   
   , res.msg

   
   print
   
    
   
   '
   
   headers:
   
   '
   
   , res.getheaders()

   
   #
   
   html
   
   
#
   
   print '\n' + '-' * 50 + '\n'
   
   
#
   
   print res.read()
   
   

   
   conn.close()

  
  
 
 
 

Httplib模块中还定义了许多常量，如：
Httplib. HTTP_PORT 的值为80，表示默认的端口号为80；
Httplib.OK 的值为200，表示请求成功返回；
Httplib. NOT_FOUND 的值为404，表示请求的资源不存在；
可以通过httplib.responses 查询相关变量的含义，如：
Print httplib.responses[httplib.NOT_FOUND] #not found
更多关于httplib的信息，请参考Python手册httplib 模块。

urllib 和urllib2实现的功能大同小异，但urllib2要比urllib功能等各方面更高一个层次。目前的HTTP访问大部分都使用urllib2.
urllib2:

 
 

  
  

   
   req =
   
    urllib2.Request(
   
   '
   
   http://pythoneye.com
   
   '
   
   )
response 
   
   =
   
    urllib2.urlopen(req)
the_page 
   
   = response.read()

  
  
 
 
 

FTP同样：

req = urllib2.Request( ' ftp://pythoneye.com ' )

urlopen返回的应答对象response有两个很有用的方法info()和geturl()
geturl — 这个返回获取的真实的URL，这个很有用，因为urlopen(或者opener对象使用的)或许
会有重定向。获取的URL或许跟请求URL不同。
Data数据
有时候你希望发送一些数据到URL
post方式：

values = { ' body ' : ' test short talk ' , ' via ' : ' xxxx ' }
data = urllib.urlencode(values)
req = urllib2.Request(url, data)

get方式：

 
 

  
  

   
   data[
   
   '
   
   name
   
   '
   
   ] 
   
   =
   
    
   
   '
   
   Somebody Here
   
   '
   
   
data[
   
   '
   
   location
   
   '
   
   ] 
   
   =
   
    
   
   '
   
   Northampton
   
   '
   
   
data[
   
   '
   
   language
   
   '
   
   ] 
   
   =
   
    
   
   '
   
   Python
   
   '
   
   
url_values 
   
   =
   
    urllib.urlencode(data)
url 
   
   =
   
    
   
   '
   
   http://pythoneye.com/example.cgi
   
   '
   
   
full_url 
   
   =
   
    url 
   
   +
   
    
   
   '
   
   ?
   
   '
   
    
   
   +
   
    url_values
data 
   
   = urllib2.open(full_url)

  
  
 
 
 

使用Basic HTTP Authentication:

 
 

  
  

   
   import
   
    urllib2

   
   #
   
    Create an OpenerDirector with support for Basic HTTP Authentication...
   
   

   
   auth_handler 
   
   =
   
    urllib2.HTTPBasicAuthHandler()
auth_handler.add_password(realm
   
   =
   
   '
   
   PDQ Application
   
   '
   
   ,
                           uri
   
   =
   
   '
   
   https://pythoneye.com/vecrty.py
   
   '
   
   ,
                           user
   
   =
   
   '
   
   user
   
   '
   
   ,
                           passwd
   
   =
   
   '
   
   pass
   
   '
   
   )
opener 
   
   =
   
    urllib2.build_opener(auth_handler)

   
   #
   
    ...and install it globally so it can be used with urlopen.
   
   

   
   urllib2.install_opener(opener)
urllib2.urlopen(
   
   '
   
   http://www. pythoneye.com/app.html
   
   '
   
   )

  
  
 
 
 

使用代理ProxyHandler：

 
 

  
  

   
   proxy_handler =
   
    urllib2.ProxyHandler({
   
   '
   
   http
   
   '
   
   : 
   
   '
   
   http://www.example.com:3128/
   
   '
   
   })
proxy_auth_handler 
   
   =
   
    urllib2.HTTPBasicAuthHandler()
proxy_auth_handler.add_password(
   
   '
   
   realm
   
   '
   
   , 
   
   '
   
   host
   
   '
   
   , 
   
   '
   
   username
   
   '
   
   , 
   
   '
   
   password
   
   '
   
   )

opener 
   
   =
   
    build_opener(proxy_handler, proxy_auth_handler)

   
   #
   
    This time, rather than install the OpenerDirector, we use it directly:
   
   

   
   opener.open(
   
   '
   
   http://www.example.com/login.html
   
   '
   
   )

URLError–HTTPError:



   
   from
   
    urllib2 
   
   import
   
    Request, urlopen, URLError, HTTPError
req 
   
   =
   
    Request(someurl)

   
   try
   
   :
      response 
   
   =
   
    urlopen(req)

   
   except
   
    HTTPError, e:
     
   
   print
   
    
   
   '
   
   Error code: 
   
   '
   
   , e.code

   
   except
   
    URLError, e:
     
   
   print
   
    
   
   '
   
   Reason: 
   
   '
   
   , e.reason

   
   else
   
   :
       .............


  
  
 
 
 

或者：

 
 

  
  

   
   from
   
    urllib2 
   
   import
   
    Request, urlopen, URLError
req 
   
   =
   
    Request(someurl)

   
   try
   
   :
      response 
   
   =
   
    urlopen(req)

   
   except
   
    URLError, e:
     
   
   if
   
    hasattr(e, 
   
   '
   
   reason
   
   '
   
   ):
           
   
   print
   
    
   
   '
   
   Reason: 
   
   '
   
   , e.reason
     
   
   elif
   
    hasattr(e, 
   
   '
   
   code
   
   '
   
   ):
           
   
   print
   
    
   
   '
   
   Error code: 
   
   '
   
   , e.code
     
   
   else
   
   :
            .............

  
  
 
 
 

通常，URLError在没有网络连接(没有路由到特定服务器),或者服务器不存在的情况下产生
异常同样会带有”reason”属性，它是一个tuple，包含了一个错误号和一个错误信息

 
 

  
  

   
   req =
   
    urllib2.Request(
   
   '
   
   http://pythoneye.com
   
   '
   
   )

   
   try
   
   :
    urllib2.urlopen(req)

   
   except
   
    URLError, e:
   
   
   print
   
    e.reason
   
   
   print
   
    e.code
   
   
   print
   
    e.read()

  
  
 
 
 

最后需要注意的就是，当处理URLError和HTTPError的时候，应先处理HTTPError，后处理URLError
Openers和Handlers：
opener使用操作器（handlers）。所有的重活都交给这些handlers来做。每一个handler知道
怎么打开url以一种独特的url协议（http，ftp等等），或者怎么处理打开url的某些方面，如，HTTP重定向，或者HTTP
cookie。
默认opener有对普通情况的操作器 （handlers）- ProxyHandler, UnknownHandler, HTTPHandler,
HTTPDefaultErrorHandler, HTTPRedirectHandler, FTPHandler, FileHandler, HTTPErrorProcessor.
再看python API：Return an OpenerDirector instance, which chains the handlers in the order given
这就更加证明了一点，那就是opener可以看成是一个容器，这个容器当中放的是控制器，默认的，容器当中有五个控制
器，程序员也可以加入自己的控制器，然后这些控制器去干活。

 
 

  
  

   
   class
   
    HTTPHandler(AbstractHTTPHandler):
    
   
   def
   
    http_open(self, req):
        
   
   return
   
    self.do_open(httplib.HTTPConnection, req)
     http_request 
   
   = AbstractHTTPHandler.do_request_

  
  
 
 
 

HTTPHandler是Openers当中的默认控制器之一，看到这个代码，证实了urllib2是借助于httplib实现的，同时也证实了Openers和Handlers的关系。