转载:静觅 » Python爬虫入门四之Urllib库的高级用法
为了完全模拟浏览器的工作,我们需要设置一些Headers 的属性
1、设置headers
# _*_coding:utf-8_*_
import urllib
import urllib2
url = "http://www.zhihu.com"
user_agent = "Mozilla/5.0 (Windows NT 6.3; WOW64; rv:54.0) Gecko/20100101 Firefox/54.0"
referer = "www.zhihu.com"
headers = {"User-Agent":user_agent,"Referer":referer}
postdata = {"username":"tyjs","password":"jhhu8"}
data = urllib.urlencode(postdata)
req = urllib2.Request(url,data,headers)
response = urllib2.urlopen(req)
print response.read()
其中,agent就是请求的身份,如果没有写入请求身份,那么服务器不一定会响应,所以可以在headers中设置agent
另外,对付防盗链,服务器会识别headers中的referer是不是它自己,如果不是,有的服务器不会响应,所以我们还可以在headers中加入referer
2、Proxy 代理的设置
# _*_coding:utf-8_*_
import urllib2
#urllib2.ProxyHandler() 在程序中动态设置代理
proxy = urllib2.ProxyHandler({'http':'112.254.124.23:8118'})
opener = urllib2.build_opener(proxy)
#install_opener:设置urllib2的全局opener,之后所有的HTTP访问都会使用这个代理
urllib2.install_opener(opener)
res = urllib2.urlopen("http://www.baidu.com")
print res.read()
3、Timeout的设置
#!/usr/bin/env python
# _*_coding:utf-8 _*_
# @Time :2017/8/20 16:23
# @Author :luoyu_bie
# @Site :
# @File :timeout1.py
# @Software :PyCharm Community Edition
"""
urlopen第三个参数就是timeout的设置,可以设置等待多久超时
为了解决一些网站实在响应过慢而造成的影响。
例如下面的代码,如果第二个参数data为空那么要特别指定是timeout是多少,写明形参,如果data已经传入,则不必声明。
"""
import urllib2
req = urllib2.Request('http://www.zhihu.com')
response = urllib2.urlopen(req,timeout=10)
#或者 response = urllib2.urlopen(req,data,10)
print response.read()