把玩之python爬虫urllib2高级篇

原文：点击打开链接    

   之前我们设置了一个headers 在构建request时传入。但有些服务器会识别headers中的referer是不是它自己，如果不是，有些服务器是不会响应的。为了对付“反盗链”我们>可以在headers中加入referer，如下:

 

       import urllib
        import urllib2

        url="http://..."
        values={"username":"1357200562@qq.com","password":"123"}
        data=urllib.urlencode(values)
        user-agent="Mozilla/4.0..."
        headers={"User-Agent":user-agent,"Referer":"http://..."}
        request=urllib2.request(url,data,headers)
        response=urllib2.urlopen(request)
        print response.read()

headers 还有一些属性：
        content-type:使用REST接口时，服务器会检查该值，用来确定HTTP Body中的内容
如何解析
        application/xml：在XML RPC,如RESTful/SOAP调用时使用
        application.json：在json RPC调用时使用
        application/x-www-form-urlencodeed:浏览器提交web表单时使用

        在使用服务器提供的RESTful或SOAP服务时，Content-Type设置错误会导致服务器>拒绝服务

Proxy（代理）设置:        urllib2默认会使用环境变量http_proxy来设置HTTP Proxy。假如一个网站会检测>在一段时间内会一个ip的访问次数。如果访问次数太多就会禁止你的访问。所以可以设置代理服务器帮助你做工作，即每个一段时间换一个代理，如下：

        import urllib2
        enable_proxy=True
        proxy_handler=urllib2.ProxyHandler({"http"："http://some-proxy.com:8080"})
        null_proxy_handler=urllib2.ProxyHandler({})
        if enable_proxy:
                opener=urllib2.build_opener(proxy_handler)
        else:
                opener=urllib2.build_opener(null_proxy_handler)
        urllib2.install_opener(opener)

Timeout设置：
        timeout就是设置超时时间，为了解决响应时间过慢而造成影响
 

       import urllib2
        response=urllib2.urlopen(url,timeout=30)

使用HTTP的PUT和DELETE方法：
        PUT和POST基本相似,都是向服务器发送数据,但是PUT通常指定了资源的存放位置,>而POST是由服务器指定存放位置。DELETE:删除某一个资源
 

      import urllib2
        request=urllib2.Request(url,data=data)
        request.get_method=lambda:"PUT"#or"DELETE"
        response=urllib2.urlopen(request)


使用DebugLog：
        可以通过如下方法把Debug Log打开，方便调试，不太常用：
        import urllib2
        httpHandler=urllib2.HTTPHandler(debuglevel=1)
        httpHandler=urllib2.HTTPHandler(debuglevel=1)
        openurl=urllib2.build_opener(httpHandler,httpHandler)
        urllib2.install_opener(opener)
        response=urllib2.urlopen("http://....")

URLError:
        我们使用try-except语句来捕捉URLError异常：（HTTPError，URLError）
 

       import urllib2
        requeset=urllib2.Rquest("http://...")
        try:
                response=urllib2.urlopen()
        except urllib2.HTTPError,e:
                print e.code
        except urllib2.URLError,e:
                if hasattr(e,"code"):
                        print e.code
                if hasattr(e,"reason"):
                        print reason