Python爬虫Urllib2库的高级用法

转载：静觅 » Python爬虫入门四之Urllib库的高级用法

为了完全模拟浏览器的工作，我们需要设置一些Headers 的属性

1、设置headers

# _*_coding:utf-8_*_

import urllib
import urllib2
url = "http://www.zhihu.com"
user_agent = "Mozilla/5.0 (Windows NT 6.3; WOW64; rv:54.0) Gecko/20100101 Firefox/54.0"
referer = "www.zhihu.com"
headers = {"User-Agent":user_agent,"Referer":referer}
postdata = {"username":"tyjs","password":"jhhu8"}
data = urllib.urlencode(postdata)
req = urllib2.Request(url,data,headers)
response = urllib2.urlopen(req)
print response.read()

其中，agent就是请求的身份，如果没有写入请求身份，那么服务器不一定会响应，所以可以在headers中设置agent

另外，对付防盗链，服务器会识别headers中的referer是不是它自己，如果不是，有的服务器不会响应，所以我们还可以在headers中加入referer

2、Proxy 代理的设置

# _*_coding:utf-8_*_

import urllib2
#urllib2.ProxyHandler()  在程序中动态设置代理
proxy = urllib2.ProxyHandler({'http':'112.254.124.23:8118'})
opener = urllib2.build_opener(proxy)
#install_opener：设置urllib2的全局opener，之后所有的HTTP访问都会使用这个代理
urllib2.install_opener(opener)
res = urllib2.urlopen("http://www.baidu.com")
print res.read()

3、Timeout的设置

#!/usr/bin/env python
# _*_coding:utf-8 _*_
# @Time     :2017/8/20 16:23
# @Author   :luoyu_bie
# @Site     :
# @File     :timeout1.py
# @Software :PyCharm Community Edition
"""
urlopen第三个参数就是timeout的设置，可以设置等待多久超时
为了解决一些网站实在响应过慢而造成的影响。
例如下面的代码,如果第二个参数data为空那么要特别指定是timeout是多少，写明形参，如果data已经传入，则不必声明。
"""
import urllib2
req = urllib2.Request('http://www.zhihu.com')
response = urllib2.urlopen(req,timeout=10)
#或者 response = urllib2.urlopen(req,data,10)
print response.read()