一、设置headers
#headers是请求加上头信息,伪装成浏览器访问,不然会被限制
- url = "http://www.server.com/login"
- # 设置请求的身份,如果没有,服务器可能会没有响应
- user_agent = "Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)"
- values = {"username": "geek", "password": "**********"}
- # 在headers中设置agent
- headers = {"User-Agent": user_agent}
- data = urllib.urlencode(values)
- # 在request中添加headers
- request = urllib2.Request(url, data, headers)
- response = urllib2.urlopen(request)
- page = response.read()
- # 对付“反盗链”(服务器会识别headers中的referer是不是它自己,如果不是则不响应),构建以下headers
- headers = {"User-Agent": "Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)",
- "Referer": "http://www.zhihu.com/articles"}
- # headers的一些其他属性:
- # User-Agent : 有些服务器或 Proxy 会通过该值来判断是否是浏览器发出的请求
- # Content-Type : 在使用 REST 接口时,服务器会检查该值,用来确定 HTTP Body 中的内容该怎样解析。
- # application/xml : 在 XML RPC,如 RESTful/SOAP 调用时使用
- # application/json : 在 JSON RPC 调用时使用
- # application/x-www-form-urlencoded : 浏览器提交 Web 表单时使用
- # 在使用服务器提供的 RESTful 或 SOAP 服务时, Content-Type 设置错误会导致服务器拒绝服务
- # Proxy(代理)的设置
- # urllib2 默认会使用环境变量 http_proxy 来设置 HTTP Proxy。
- # 假如一个网站它会检测某一段时间某个IP 的访问次数,如果访问次数过多,它会禁止你的访问。
- # 所以可以设置一些代理服务器来帮助你做工作,每隔一段时间换一个代理
- enable_proxy = True
- proxy_handler = urllib2.ProxyHandler({"http": 'http://some-proxy.com:8080'})
- null_proxy_handler = urllib2.ProxyHandler({})
- if enable_proxy:
- opener = urllib2.build_opener(proxy_handler)
- else:
- opener = urllib2.build_opener(null_proxy_handler)
- urllib2.install_opener(opener)
- # Timeout设置
- # 为了解决一些网站实在响应过慢而造成的影响
- # 如果第二个参数data为空那么要特别指定是timeout是多少,写明形参,如果data已经传入,则不必声明
- response = urllib2.urlopen('http://www.baidu.com', timeout=10)
- response = urllib2.urlopen('http://www.baidu.com', data, 10)
- # http协议有六种请求方法,get,head,put,delete,post,options,我们有时候需要用到PUT方式或者DELETE方式请求
- # PUT:这个方法比较少见。HTML表单也不支持这个。
- # 本质上来讲, PUT和POST极为相似,都是向服务器发送数据,但它们之间有一个重要区别,PUT通常指定了资源的存放位置,而POST则没有,POST的数据存放位置由服务器自己决定。
- # DELETE:删除某一个资源。
- request = urllib2.Request(url, data=data)
- request.get_method = lambda: 'PUT' # or 'DELETE'
- response = urllib2.urlopen(request)
- # 可以通过下面的方法把 Debug Log 打开,这样收发包的内容就会在屏幕上打印出来,方便调试
- httpHandler = urllib2.HTTPHandler(debuglevel=1)
- httpsHandler = urllib2.HTTPSHandler(debuglevel=1)
- opener = urllib2.build_opener(httpHandler, httpsHandler)
- urllib2.install_opener(opener)
- response = urllib2.urlopen('http://www.baidu.com')