提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档
前言
这是一次简单的爬虫--urllib抓取网页数据总结,如有错误与不足还望指出!
提示:以下是本篇文章正文内容,下面案例可供参考
一、什么是urllib
1.含义:
urllib库是python内置的HTTP请求库,它可以看做是处理URL的组件集合。
2.模块名称:
1.urllib.request——请求模块
2.urllib.error——异常处理模块
3.urllib.parse——url解析模块
4.urllib.robotparser——robots.txt解析模块
二、快速使用urllib爬取网页
1,导入库 ——import urllib.request
2,调用urllib.resquest库的urlopen方法,并传入一个url
response=urllib.request.urlopen('xxxxx网址xxxx')
#使用read方法读取获取到的网页内容
html = response.read().decode('UTF-8')
#打印网页内容
print(html)
3.Python2中使用的是urllib2库来下载网页,该库的用法如下所示:
import urllib2response = urllib2.urlopen('xxxx网址xxx")
4,快速使用urllib爬取网页
Python3出现后,之前Python2中的urllib2库被移到了 urllib.request模块中,之前urllib2中很多函数的路径也发生了变化,希望大家在使用的时候多加注意。
5.urlopen方法
在爬取网页时,有一句核心的爬虫代码,(以百度为例)
response = urllib.request.urlopen('http://www.baidu.com')
上述代码调用的是urllib.request模块中的urlopen方法,它传入了一个百度首页的URL,使用的协议是HTTP,这是 urlopen方法最简单的用法。
6.urlopen方法可以接收多个参数
定义格式:urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None,capath=None, cadefault=False, context=None)
参数如下:
url——表示目标资源在网站中的位置。
data——用来指明向服务器发送请求的额外信息。
timeout ——该参数用于设置超时时间,单位是秒。
context——实现SSL加密传输,该参数很少使用。
7,使用HTTPResponse对象
使用urlopen方法发送HTTP请求后,服务器返回的响应内容封装在一个HTTPResponse类型的对象中。
#导入库
import urllib.request
#发送请求
response = urllib.request.urlopen('http://www.baidu.cn')
#打印
print(type(response))#<class 'http.client.HTTPResponse'
8.使用HTTPResponse对象
HTTPResponse类属于http.client模块,该类提供了获取URL、状态码、响应内容等一系列方法。
geturl()--用于获取响应内容的URL,该方法可以验证发送的HTTP请求是否被重新调配。
info()--返回页面的元信息。
getcode()--返回HTTP请求的响应状态码。
代码实例如下:
#1.导入库
import urllib.request
#2.请求网址(以python官网为例)
response = urllib.request.urlopen('http://python.org')
#3.获取响应信息对应的URL
print(response.geturl())
#4.获取响应码
print(response.getcode())
#5.获取页面的元信息
print(response.info())
结果如下:
9.构造Request 对象(建议首选)
如果希望对请求执行复杂操作,则需要创建一个Request 对象来作为urlopen方法的参数。
#将url作为Request方法的参数,构造并返回一个Request对象(百度为例)
request = urllib.request.Request('http://www.baidu.com')
#将Request对象作为urlopen方法的参数,发送给服务器并接收响应
response = urllib.request.urlopen(request)
在构建请求时,除了必须设置的url参数外,
还可以加入很多内容,例如下面的参数参数如下:
data——默认为空,该参数表示提交表单数据,同时HTTP请求方法将从默认的GET方式改为POST方式。
headers——默认为空,该参数是一个字典类型,包含了需要发送的HTTP报头的键值对。
三、使用urllib实现数据传输
1.URL编码转换
当传递的URL中包含中文或者其它特殊字符(如空格等)时,需要
使用urlib.parse 库中的urlencode方法将URL进行编码
解码使用的是url.parse库的 unquote 方法。
2.处理GET请求
GET请求一般用于向服务器获取数据。
例如:用百度搜索“百度官网”
此时,如果使用Fiddler查看HTTP请求,发现有个GET请求的格式如下:
在这个请求中,“?”后面的字符串就包含了我们要查询的关键字“百度官网”。
3.处理POST请求
四、添加特定Headers-请求伪装
1.添加特定Headers—请求伪装
如果不是从浏览器发出的请求,我们是不能获得响应内容的。针对这种情况,我们需要将爬虫程序发出的请求伪装成一个从浏览器发出的请求。
2.伪装浏览器需要自定义请求报头,也就是在发送Request请求时,加入特定的请求
五、代理服务器
1.简单的自定义opener
很多网站会检测某一段时间某个IP的访问次数,如果同一IP访问过于频繁,那么该网站会禁止来自该IP的访问。
我们可以使用代理服务器,每隔一段时间换一个代理。
如果某个IP被禁止,那么就可以换成其他IP继续爬取数据,从而可以有效解决被网站禁止访问的情况。
2.opener 是 urllib.request.OpenerDirector类的对象,我们之前一直都在使用的urlopen,就是模块帮我们构建好的一个Opener
但是——urlopen 不支持代理、Cookie等其他的HTTP/HTTPS高级功能,所以如果要想设置代理,不能使用自带的urlopen,而是要自定义opener。
3.注意:
如果程序里所有的请求都使用自定义的opener,可以使用 urllib2.install_opener()将自定义的opener对象定义为全局opener,表示之后凡是调用urlopen,都将使用自定义的opener。
4.设置代理服务器
我们可以使用urllib.request中的ProxyHandler 方法来设置代理服务器。
5.免费开放代理
免费开放处理的获取基本没有成本,可以在一些代理网站上收集这些免费代理,测试后如果可以用,就把它收集起来用在爬虫上面。
免费代理网站主要有以下几个:
1.西刺免费代理IP
2.Proxy360代理
3.全网代理IP
4.快代理免费代理
tips:免费开放代理一般会有很多人都在使用,而且代理有寿命短,速度慢,匿名度不高等缺点。所以,专业爬虫工程师或爬虫公司会使用高品质的私密代理,这些代理通常需要找专门的代理供应商购买,再通过用户名/密码授权使用。
如果代理IP足够多,就可以像随机获取User-Agent样,随机选择一个代理去访问网站。
六、超时设置和常见的网络异常
1.超时设置
我们可以为HTTP请求设置超时时间,一旦超过这个时间,服务器还没有返回响应内容,那么就会抛出一个超时异常,这个异常需要使用try语句来捕获。
2.处理异常
用try-except语句捕获
为保证程序能够正常终止,我们可以使用try-except 语句捕获相应的异常,并对异常进行相应的处理。由于谷歌网站服务器的原因,访问该网站必定会出现连接超时的问题。下面以访问谷歌网站为例,为大家演示如何使用try-except语句捕获RequestException异常。
import time,requests
print(time.strftime('开始时间:%Y-%m-%d%H:%M:%S'))#记录请求的发起时间
try:#捕获RequestException异常
html_str =requests.get('http://www.google.com').text
print('访问成功)
except requests.exceptions.RequestException as error:
print(error)
#记录请求的终止时间
print(time.strftime('结束时间:%Y-%m-%d%H:%M:%S))
为了减少无意义的等待,我们在发送HTTP请求时可以设置超时时长,即调用getO函数时传入timeout参数,并给该参数指定代表超时时长的值,如果超过该时长,服务器仍然没有返回任何响应内容,就让程序立即引发一个超时异常。在以上示例中,为请求设置超时时长为5秒。
html_str=requests.get('http://www.google.com',timeout=5).text
#发送GET请求,设置超时时长