1、urllib

最新推荐文章于 2024-08-25 07:42:45 发布

光明小学王小雨

最新推荐文章于 2024-08-25 07:42:45 发布

阅读量816

点赞数

分类专栏： python爬虫

本文链接：https://blog.csdn.net/qq_41475058/article/details/90177898

版权

python爬虫专栏收录该内容

8 篇文章 1 订阅

订阅专栏

一、urllib简介

在python2，有urllib和urllib2两个库来实现请求的发送。而在python3中，已经不存在urllib2这个库了，统一为urllib。
urllib是python内置的HTTP请求库，也就是说不需要额外安装即可使用。它包含如下四个模块：

request：它是最基本的HTTP请求模块，可以用来模拟发送请求。就像在浏览器里输入网址然后回车一样，只需要给库方法传入URL以及额外的参数，就可以模拟实现这个过程了。
error：异常处理模块，如果出现请求错误，我们可以捕获这些异常，然后进行重试或其他操作以保证程序不会意外终止。
parse：一个工具模块，提供了许多URL处理方法，比如拆分、解析、合并等。
robotparser：主要是用来识别网站的robots.txt文件，然后判断哪些网站可以爬，哪些网站不可以爬，它其实用得比较少。

二、urllib.request.urlopen（）

urllib.request模块提供了最基本的构造HTTP请求的方法，利用它可以模拟浏览器的一个请求发起过程，同时它还带有处理授权验证、重定向、浏览器Cookies以及其他内容。

1、抓取python官网

import urllib.request

response = urllib.request.urlopen('https://www.python.org')
print(response.read().decode('utf-8'))

2、利用type（）输出响应的类型

import urllib.request

response = urllib.request.urlopen('https://www.python.org')
print(type(response))

输出结果

<class 'http.client.HTTPResponse'>

它是一个HTTPResponse类型的对象，主要包含read（）、readinto（）、getheader（name）、getheaders（）、fileno（）等方法，以及msg、version、status、reason、debuglevel、closed等属性。

3、获取头部信息

import urllib.request

response = urllib.request.urlopen('https://www.python.org')
print(response.status)
print(response.getheaders())
print(response.getheader('Server'))

输出结果，前两个输出了响应的状态码和响应的头信息，最后一个输出通过调用getheader（）方法并传递一个参数Server获取了响应头中的Server值，结果为nginx。

200
[('Server', 'nginx'), ('Content-Type', 'text/html; charset=utf-8'), ('X-Frame-Options', 'DENY'), ('Via', '1.1 vegur'), ('Via', '1.1 varnish'), ('Content-Length', '49086'), ('Accept-Ranges', 'bytes'), ('Date', 'Mon, 13 May 2019 07:13:45 GMT'), ('Via', '1.1 varnish'), ('Age', '3004'), ('Connection', 'close'), ('X-Served-By', 'cache-iad2146-IAD, cache-tyo19930-TYO'), ('X-Cache', 'HIT, HIT'), ('X-Cache-Hits', '1, 4546'), ('X-Timer', 'S1557731626.943396,VS0,VE0'), ('Vary', 'Cookie'), ('Strict-Transport-Security', 'max-age=63072000; includeSubDomains')]
nginx

4、urlopen（）传递其他内容

函数的API为urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)

除了第一个参数传递URL外，还可以传递其他内容，比如data（附加数据）、timeout（超时时间）等。

4.1、data参数
data参数是可选的。如果要添加该参数，并且如果它是字节流编码格式的内容，即bytes类型，则需要通过bytes（）方法转化。另外，如果传递了这个参数，则它的请求方式就不再是GET方式，而是POST方式。

示例

import urllib.parse
import urllib.request

#传递一个参数word，值是hello。它需要被转码成bytes（字节流）类型。其中转字节流采用了bytes（）方法，
#该方法的第一个参数需要是str（字符串）类型，需要用urllib.parse模块里的urlencode（）方法来将参数字典转化为字符串，
#第二个参数指定编码格式，这里指定为utf8。

data=bytes(urllib.parse.urlencode({'word':'hello'}),encoding='utf8')
response=urllib.request.urlopen('http://httpbin.org/post',data=data)
print(response.read().decode('utf-8'))

运行结果

{
  "args": {}, 
  "data": "", 
  "files": {}, 
  "form": {
    "word": "hello"
  }, 
  "headers": {
    "Accept-Encoding": "identity", 
    "Content-Length": "10", 
    "Content-Type": "application/x-www-form-urlencoded", 
    "Host": "httpbin.org", 
    "User-Agent": "Python-urllib/3.6"
  }, 
  "json": null, 
  "origin": "222.76.251.164, 222.76.251.164", 
  "url": "https://httpbin.org/post"
}

我们传递的参数出现在了form字段中，这表明是模拟了表单提交的方式，以POST方式传输数据。

4.2 timeout参数
timeout参数用于设置超时时间，单位为秒，意思是如果请求超出了设置的这个时间，还没有得到响应，就会抛出异常。如果不指定该参数，就会使用全局默认时间。

示例

import urllib.request

response=urllib.request.urlopen('http://httpbin.org/get',timeout=1)
print(response.read())

运行结果，这里我们设置超时时间是1秒。程序1秒过后，服务器依然没有响应，于是抛出了URLError异常。该异常属于urllib.error模块，错误原因是超时。

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "C:/Users/Administrator/Desktop/NewBegin/day 16 爬虫/timeout.py", line 3, in <module>
    response=urllib.request.urlopen('http://httpbin.org/get',timeout=1)
...
urllib.error.URLError: <urlopen error timed out>

因此，可以通过设置这个超时时间来控制一个网页如果长时间未响应，就跳过它的抓取。这可以利用try except语句来实现。
示例如下

import socket
import urllib.request
import urllib.error

try:
    response=urllib.request.urlopen('http://httpbin.org/get',timeout=0.1)
except urllib.error.URLError as e:
    if isinstance(e.reason,socket.timeout):
        print('TIME OUT')

运行结果
设置超时时间是0.1秒，然后捕获了URLError异常，接着判断异常是socket.timeout类型（意思就是超时异常），从而得出它确实是因为超时而报错。

TIME OUT

三、Request

利用urlopen（）方法可以实现最基本请求的发起，但这几个简单的参数并不足以构建一个完整的请求。如果请求中需要加入Headers请求等信息，就可以利用更强大的Request类来构建。

1、示例

import urllib.request

request=urllib.request.Request('https://python.org')
response=urllib.request.urlopen(request)
print(response.read().decode('utf-8'))

依然是用 urlopen() 方法来发送这个请求，只不过这次 urlopen() 方法的参数不再是一个URL，而是一个 Request ，通过构造这个这个数据结构，一方面我们可以将请求独立成一个对象，另一方面可配置参数更加丰富和灵活。

2、Request 构造方法如下

class urllib.request.Request(url, data=None, headers={}, origin_req_host=None, unverifiable=False, method=None)

第一个参数是请求链接，这个是必传参数，其他的都是可选参数。
第二个参数data如果要传，必须传 bytes （字节流）类型的，如果是一个字典，可以先用 urllib.parse.urlencode() 编码。
第三参数headers是一个字典，它就是请求头，我们可以在构造请求时通过headers参数直接构造，也可以通过调用请求实例的add_header（）方法添加。
请求头最常用的用法就是通过修改 User-Agent 来伪装浏览器，默认的 User-Agent 是 Python-urllib ，你可以通过修改它来伪装浏览器，比如要伪装火狐浏览器，你可以把它设置为
Mozilla/5.0 (X11; U; Linux i686)Gecko/20071127 Firefox/2.0.0.11
第四个参数origin_req_host 指的是请求方的 host 名称或者 IP 地址。
第五个参数unverifiable 指的是这个请求是否是无法验证的，默认是 False 。意思就是说用户没有足够权限来选择接收这个请求的结果。例如我们请求一个HTML文档中的图片，但是我们没有自动抓取图像的权限，这时 unverifiable 的值就是 True 。
第六个参数method 是一个字符串，它用来指示请求使用的方法，比如 GET ， POST ， PUT 等等。

3、传入多个参数构建请求

示例
这里我们通过四个参数构造了一个 Request ， url 即请求链接，在 headers 中指定了 User-Agent 和 Host ，传递的参数 data 用了 urlencode() 和 bytes() 方法来转成字节流，另外指定了请求方式为 POST

from urllib import request,parse
url = "http://httpbin.org/post"
headers = {
    #伪装一个火狐浏览器
    "User-Agent":'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)',
    "host":'httpbin.org'
}
dict = {
    "name":"Germey"
}
data = bytes(parse.urlencode(dict),encoding="utf8")
req = request.Request(url=url,data=data,headers=headers,method="POST")
response = request.urlopen(req)
print(response.read().decode("utf-8"))

运行结果

{
  "args": {}, 
  "data": "", 
  "files": {}, 
  "form": {
    "name": "Germey"
  }, 
  "headers": {
    "Accept-Encoding": "identity", 
    "Content-Length": "11", 
    "Content-Type": "application/x-www-form-urlencoded", 
    "Host": "httpbin.org", 
    "User-Agent": "Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)"
  }, 
  "json": null, 
  "origin": "218.104.139.116, 218.104.139.116", 
  "url": "https://httpbin.org/post"
}

通过观察结果可以发现，我们成功设置了 data ， headers 以及 method 。
另外 headers 也可以用 add_header() 方法来添加。如此一来，我们就可以更加方便地构造一个 Request ，实现请求的发送。

req = request.Request(url=url, data=data, method='POST')
req.add_header('User-Agent', 'Mozilla/4.0 (compatible; MSIE 5.5;Windows NT)')

四、urllib.request高级用法

1、简介

上面的过程中，我们虽然可以构造 Request ，但是一些更高级的操作，比如 Cookies 处理，代理该怎样来设置？接下来就需要更强大的工具 Handler 登场了。
简而言之你可以把它理解为各种处理器，有专门处理登录验证的，有处理 Cookies 的，有处理代理设置的，利用它们我们几乎可以做到任何 HTTP 请求中所有的事情。

首先介绍下 urllib.request.BaseHandler ，它是所有其他 Handler 的父类，它提供了最基本的 Handler 的方法，例如 default_open() 、 protocol_request() 等。
接下来就有各种 Handler 类继承这个 BaseHandler ，列举如下：

HTTPDefaultErrorHandler 用于处理HTTP响应错误，错误都会抛出 HTTPError 类型的异常。
HTTPRedirectHandler 用于处理重定向。
HTTPCookieProcessor 用于处理 Cookie 。
ProxyHandler 用于设置代理，默认代理为空。
HTTPPasswordMgr 用于管理密码，它维护了用户名密码的表。
HTTPBasicAuthHandler 用于管理认证，如果一个链接打开时需要认证，那么可以用它来解决认证问题。

另外一个比较重要的就是 OpenerDirector ，我们可以称之为 Opener ，我们之前用过 urllib.request.urlopen() 这个方法，实际上它就是一个 Opener 。
那么为什么要引入 Opener 呢？因为我们需要实现更高级的功能，之前我们使用的 Request 、 urlopen() 相当于类库为你封装好了极其常用的请求方法，利用它们两个我们就可以完成基本的请求，但是现在不一样了，我们需要实现更高级的功能，所以我们需要深入一层，使用更上层的实例来完成我们的操作。所以，在这里我们就用到了比调用 urlopen() 的对象的更普遍的对象，也就是 Opener 。
Opener 可以使用 open() 方法，返回的类型和 urlopen() 如出一辙。那么它和 Handler 有什么关系？简而言之，就是利用 Handler 来构建 Opener 。

2、输入账号密码验证

使用nginx访问认证进行测试，具体做法百度一下。。
在这里插入图片描述
代码
HTTPPasswordMgrWithDefaultRealm() 添加用户名密码
——>HTTPBasicAuthHandler() 实例化Handler对象
——>build_opener() 构建Opener
——>open（）打开链接

from urllib.request import HTTPPasswordMgrWithDefaultRealm,HTTPBasicAuthHandler,build_opener
from urllib.error import URLError

username='wangxiaoyu'
password='123456'
url='http://10.0.0.150'

p=HTTPPasswordMgrWithDefaultRealm()
p.add_password(None,url,username,password)
auth_handler=HTTPBasicAuthHandler(p)
opener=build_opener(auth_handler)

try:
    result=opener.open(url)
    html=result.read().decode('utf-8')
    print(html)
except URLError as e:
    print(e.reason)

这里首先实例化HTTPBasicAuthHandler对象，其参数是HTTPPasswordMgrWithDefaultRealm对象，它利用add_password（）添加进去用户名和密码，这样就建立了一个处理验证的Handler。
接下来，利用这个Handler并使用build_opener（）方法构建了一个Opener，这个Opener在发送请求时就相当于验证成功了。
接下来，利用Opener的open（）方法打开链接，就可以完成验证了。这里获取到的结果就是验证后的页面源码内容。

3、代理

from urllib.error import URLError
from urllib.request import ProxyHandler,build_opener

proxy_hanndler=ProxyHandler({
    'http':'http://127.0.0.1:9743',
    'https':'https://127.0.0.1:9743'
})
opener=build_opener(proxy_hanndler)
try:
    response=opener.open('https://www.baidu.com')
    print(response.read().decode('utf-8'))
except URLError as e:
    print(e.reason)

在这里使用了 ProxyHandler ， ProxyHandler 的参数是一个字典，key是协议类型，比如 http 还是 https 等，value是代理链接，可以添加多个代理。
然后利用 build_opener() 方法利用这个 Handler 构造一个 Opener ，然后发送请求即可。

4、Cookies
4.1 实例

先将网站的Cookies获取下来，代码如下
首先，我们必须先声明一个CookieJar对象。接下来，就需要利用HTTPCookieProcessor来构建一个Handler，最后利用build_opener（）方法构建出Opener，执行open（）函数即可。

import http.cookiejar, urllib.request

cookie = http.cookiejar.CookieJar()
handler = urllib.request.HTTPCookieProcessor(cookie)
opener = urllib.request.build_opener(handler)
response = opener.open('http://www.baidu.com')

for item in cookie:
    print(item.name+"="+item.value)

运行结果

BAIDUID=A987404E375599CEC8DB0FED857D11CF:FG=1
BIDUPSID=A987404E375599CEC8DB0FED857D11CF
H_PS_PSSID=1453_21091_28519_28775_28724_28963_28833_28585
PSTM=1557802033
delPer=0
BDSVRTM=0
BD_HOME=0

4.2 输出成文件格式

这时的 CookieJar 就需要换成 MozillaCookieJar ，生成文件时需要用到它，它是 CookieJar 的子类，可以用来处理 Cookie 和文件相关的事件，读取和保存 Cookie ，它可以将 Cookie 保存成 Mozilla 型的格式。

import http.cookiejar, urllib.request

filename = 'cookie.txt'
cookie = http.cookiejar.MozillaCookieJar(filename)
handler = urllib.request.HTTPCookieProcessor(cookie)
opener = urllib.request.build_opener(handler)
response = opener.open('http://www.baidu.com')
cookie.save(ignore_discard=True, ignore_expires=True)

运行结果，生成一个cookies.txt文件，内容如下

# Netscape HTTP Cookie File
# http://curl.haxx.se/rfc/cookie_spec.html
# This is a generated file!  Do not edit.

.baidu.com	TRUE	/	FALSE	3705286060	BAIDUID	D0008D4B035FDE485547FEA3B7A18FBF:FG=1
.baidu.com	TRUE	/	FALSE	3705286060	BIDUPSID	D0008D4B035FDE485547FEA3B7A18FBF
.baidu.com	TRUE	/	FALSE		H_PS_PSSID	1429_21124_28518_28771_28721_28964_28834_28584_28702
.baidu.com	TRUE	/	FALSE	3705286060	PSTM	1557802412
.baidu.com	TRUE	/	FALSE		delPer	0
www.baidu.com	FALSE	/	FALSE		BDSVRTM	0
www.baidu.com	FALSE	/	FALSE		BD_HOME	0

4.3 输出LWPCookieJar格式文件

在声明时改为cookie = http.cookiejar.LWPCookieJar(filename)

import http.cookiejar, urllib.request

filename = 'cookie.txt'
cookie = http.cookiejar.LWPCookieJar(filename)
handler = urllib.request.HTTPCookieProcessor(cookie)
opener = urllib.request.build_opener(handler)
response = opener.open('http://www.baidu.com')
cookie.save(ignore_discard=True, ignore_expires=True)

生成文件内容如下

#LWP-Cookies-2.0
Set-Cookie3: BAIDUID="499B5A52A309F0A1A9A7F8FE8B9CE5BC:FG=1"; path="/"; domain=".baidu.com"; path_spec; domain_dot; expires="2087-06-01 06:11:55Z"; version=0
Set-Cookie3: BIDUPSID=499B5A52A309F0A1A9A7F8FE8B9CE5BC; path="/"; domain=".baidu.com"; path_spec; domain_dot; expires="2087-06-01 06:11:55Z"; version=0
Set-Cookie3: H_PS_PSSID=1442_21083_28518_28767_28724_28963_28836_28585_26350; path="/"; domain=".baidu.com"; path_spec; domain_dot; discard; version=0
Set-Cookie3: PSTM=1557802667; path="/"; domain=".baidu.com"; path_spec; domain_dot; expires="2087-06-01 06:11:55Z"; version=0
Set-Cookie3: delPer=0; path="/"; domain=".baidu.com"; path_spec; domain_dot; discard; version=0
Set-Cookie3: BDSVRTM=0; path="/"; domain="www.baidu.com"; path_spec; discard; version=0
Set-Cookie3: BD_HOME=0; path="/"; domain="www.baidu.com"; path_spec; discard; version=0

4.4、从文件读取Cookies并利用

import http.cookiejar, urllib.request

cookie = http.cookiejar.LWPCookieJar()
cookie.load('cookie.txt', ignore_discard=True, ignore_expires=True)
handler = urllib.request.HTTPCookieProcessor(cookie)
opener = urllib.request.build_opener(handler)
response = opener.open('http://www.baidu.com')
print(response.read().decode('utf-8'))

这里调用load（）方法来读取本地的Cookies文件，获取到了Cookies的内容。不过前提是我们首先生成了LWPCookieJar格式的Cookies，并保存成文件，然后读取Cookies之后使用同一的方法构建Handler和Opener即可完成操作。