【python爬虫】基本库_urllib

最新推荐文章于 2022-02-08 17:21:57 发布

苦逼的虾

最新推荐文章于 2022-02-08 17:21:57 发布

阅读量255

点赞数

分类专栏： python/python爬虫文章标签： python urlib

本文链接：https://blog.csdn.net/qq_33432841/article/details/108007545

版权

python/python爬虫专栏收录该内容

20 篇文章 4 订阅

订阅专栏

urllib . request 模块

该模块提供了最基本的构造 HTTP 请求的方法，利用它可以模拟浏览器的一个请求发起过程，同时它还带有处理授权验证（ authenticaton ）、重定向（ redirection）、浏览器 Cookies 以及其他内容。
下面看到的例子，就是一个简单的爬取，可以把python官网的网页给爬取下来：

import urllib.request
response= urllib.request.urlopen( ' https://www.python.org')
print(response. read(). decode ('utf-8'))

urlopen （）方法:

利用最基本的 urlopen （） 方法，可以完成最基本的简单网页的 GET 请求抓取。
首先看一下 urlopen （）函数的 API:

urllib . request . urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)

下面详细的介绍其比较常用的参数：
data参数：
data 参数是可选的。如果要添加该参数，并且如果它是字节流编码格式的内容，即 bytes 类型，
则需要通过 bytes （）方法转化。另外，如果传递了这个参数，则它的请求方式就不再是 GET 方式，而是 POST 方式。

import urllib.parse
import urllib.request
data = bytes(urllib . parse . urlencode({'word':'hello'}), encoding='utf-8')
response= urllib.request.urlopen('http://httpbin.org/post', data=data)
print(response.read())

上面代码我们传递了一个参数 word ，值是 hello 。它需要被转码成 bytes （字节流）类型。其中转字
节流采用了 bytes （）方法 ，该方法的第一个参数需要是 str （字符串）类型，需要用 urllib.parse 模块里的 urlencode （）方法来将参数字典转化为字符串；第二个参数指定编码格式，这里指定为 utf-8

timeout 参数：
timeout 参数用于设置超时时间，单位为秒，意思就是如果请求超出了设置的这个时间，还没有得
到响应，就会抛出异常。如果不指定该参数，就会使用全局默认时间。它支持 HTTP , HTTPS 、 FTP请求。

import urllib .request
response = urllib.request .urlopen(' http: //httpbin .org/get', timeout=l)
print(response .read())

运行结果如下图所示在这里插入图片描述
当然我们也可以利用 try except 语句来实现：

import urllib.request
import urllib.error
try:
    response = urllib.request . urlopen('http://httpbin.org/get ', timeout=0.1)
except urllib.error.URLError as e:
    if isinstance(e.reason, socket.timeout):
        print("time out")

运行结果为：
在这里插入图片描述

Request:

利用 urlopen （）方法可以实现最基本请求的发起。如果请求中需要加入 Headers 等信息，就可以利用更强大的 Request 类 来构建
具体代码如下：

import urllib . request
request = urllib.request.Request('https://python.org')
response = urllib .request.urlopen(request)
print(response.read().decode('utf-8'))

Request 构造方法如下：

 class urllib. request. Request (ur1, data=None, headers={}, origin_req_host=None, unverifiable=False, method=None)

第一个参数 url 用于请求 URL ，这是必传参数，其他都是可选参数。
第二个参数 data 如果要传，必须传 bytes （字节流）类型的。如果它是字典，可以先用
urllib.parse 模块里的 urlencode （）编码。
第三个参数 headers 是一个字典，它就是请求头，我们可以在构造请求时通过 headers 参数直
接构造，也可以通过调用请求实例的 add_header （）方法添加。
添加请求头最常用的用法就是通过修改 User-Agent 来伪装浏览器，默认的 User-Agent 是一－
Python-urllib ，我们可以通过修改它来伪装浏览器。比如要伪装火狐浏览器，你可以把它设 E’
置为：
Mozilla/s.o (X11; U; Linux i686) Gecko/20071127 Firefox/2.0.0.11
第四个参数 origin_req_host 指的是请求方的 host 名称或者 IP 地址。
第五个参数 unverifiable 表示这个请求是否是无法验证的，默认是 False ，意思就是说用户没
有足够权限来选择接收这个请求的结果。例如，我们请求一个 HTML 文档中的图片，但是我们没有向动抓取图像的权限，这时unverifiable 的值就是 True 。
第六个参数 method 是一个字符串，用来指示请求使用的方法，比如 GET 、 POST 和 PUT 等。

from urllib import request, parse
url = 'http://httpbin.org/post '
headers = {
'User-Agent ': 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)',
'Host':'httpbin.org'}
dict = {'name':'Germey'}
data= bytes(parse.urlencode(dict), encoding='utf8 ')
req = request.Request(url=url, data=data, headers=headers, method='POST' )
response = request.urlopen(req)
print(response. read(). decode(' utf-8'))

其运行结果如下图：
在这里插入图片描述

高级用法–强大的工具 Handle：

一些高级的用法可以理解为各种处理器：

专门处理登录验证的；
有处理 Cookies 的；
有处理代理设置的；
介绍一下 urllib . request 模块里的 BaseHandler 类，它是所有其他 Handler 的父类。
各种 Handler 子类继承这个 BaseHandler 类，举例如下：
HITPDefaultErrorHandler ：用于处理 HTTP 响应错误，错误都会抛出 HTTP Error 类型的异常。
HTTPRedirectHandler ：用于处理重定向。
HTTPCookieProcessor ：用于处理 Cooki es 。
ProxyHandler ：用于设置代理，默认代理为空。
HπPPasswordMgr ：用于管理密码，它维护了用户名和密码的表。
HTTPBasicAuthHandler ：用于管理认证，如果一个链接打开时需要认证，那么可以用它来解决认证问题。
需要实现更高级的功能，则会用到 Opener()
Opener 可以使用 open ()方法，返回的类型和 urlopen ()如出一辙。利用 Handler 来构建 Opener。
例如：
有些网站在打开时就会弹出提示框，直接提示你输入用户名和密码，验证成功后才能查看页面。我们应该怎么做呢？？？？？
答案：借助 HTTPBasicAuthHandler 来完成此操作。

from urllib.request import HTTPPasswordMgrWithDefaultRealm, HTTPBasicAuthHandler, build_opener
from urllib.error import URLError
username = 'username'
password = 'password'
url = 'https://www.zhihu.com/signin?next=%2F'
p = HTTPPasswordMgrWithDefaultRealm()
p.add_password(None, url, username, password)
auth_handler = HTTPBasicAuthHandler(p)
opener = build_opener(auth_handler)
try:
    result = opener.open(url)
    html = result. read(). decode('utf-8')
    print(html)
except URLError as e:
    print(e.reason)

代理：

做爬虫的时候，免不了要使用代理,如下面的代码：

from urllib.error import URLError
from urllib.request import ProxyHandler,build_opener
proxy_handler = ProxyHandler({
'http':'http://127.0.0.1:9743' ,
'https':'https://127.0.0.1:9743 '})
opener = build_opener(proxy_handler)
try:
    response = opener.open('https://www.baidu.com')
    print(response.read() .decode('utf-8'))
except URLError as e:
    print(e .reason)

使用了 ProxyHandler ，其参数是一个字典，键名是协议类型（比如 HTTP 或者 HTTPS 等），键值是代理链接，可以添加多个代理。
然后，利用这个 Handler 及 build_opener（）方法构造一个 Opener ，之后发送请求即可。

处理异常：

urllib 的 error 模块定义了由 request 模块产生的异常。如果出现了问题， request 模块便会抛州
error 模块中定义的异常。
URLError:
URLError 类来自 urllib 库的 error 模块，它继承自 OSError 类，是 error 异常模块的基类，由 request模块生的异常都可以通过捕获这个类来处理。

它具有一个属性 reason ，即返回错误的原因。

from urllib import request, error
try:
    response = request. urlopen('https://cuiqingcai.com/index.htm')
except error. URLError as e:
    print(e.reason)

上面的网址，其实是一个不存在的网址，所以其返回结果为：
在这里插入图片描述
HTTPError:
它是 URLError 的子类，专门用来处理 HTTP 请求错误，比如认证请求失败等。它有如下 3 个属性。

code ：返回 HTTP 状态码，比如 404 表示网页不存在， 500 表示服务器内部错误等。
reason ：同父类一样，用于返回错误的原因。
headers ：返回请求头。

from urllib import request, error
try:
    response = request. urlopen('https://cuiqingcai.com/index.htm')
except error.HTTPError as e:
    print(e.reason,e.code,e.headers,sep='\n')

运行结果如下：
在这里插入图片描述
因为URLError 是 HTTPError 的父类，所以可以先选择捕获子类的错误，再去捕获父类的错误，所以上述代码更好的写法如下：

from urllib import request, error
try:
    response = request. urlopen('https://cuiqingcai.com/index.htm')
except error.HTTPError as e:
    print(e.reason,e.code,e.headers,sep='\n')
except error. URLError as e:
     print(e.reason)
else:
    print('Request Successfullly')

解析链接：

urllib 库里还提供了 parse 模块，它定义了处理 URL 的标准接口，例如实现 URL 各部分的抽取、合并以及链接转换。

urlparse()：

该方法可以实现 URL 的识别和分段。如下代码：

from urllib.parse import urlparse
result = urlparse('http://www.baidu.com/index .html; user?id=S#comment')
print(type(result), result)

运行结果如下图：
在这里插入图片描述
返回结果是一个 ParseResult 类型的对象，它包含 6 个部分，分别是 scheme 、 netloc 、path 、
params 、 query 和 fragment 。
：//前面的就是 scheme ，代表协议；第一个／符号前面便是 netloc ，即域名，后面是 path ，即访问路径；分号；前面是 params ，代表参数；问号？后面是查询条件 **query ，一般用作 GET 类型的 URL;**井号＃后面是锚点，用于直接定位页面内部的下拉位置。
所以，可以得出一个标准的链接格式，具体如下：

scheme://netloc/path ;params?query#fragment

记住一点： scheme 参数只有在 U也中不包含 scheme 信息时才生效。如果 URL 中有 scheme 信息，就会返回解析出的 scheme 。

urlunparse()：

有了 urlparse ()，相应地就有了它的对立方法 urlunparse (), 它接受的参数是一个可迭代对象，但是它的长度必须是 6 ，否则会抛出参数数量不足或者过多的问题。

from urllib.parse import urlunparse
data =[' http ','www.baidu.com ', 'index.html ','user','a=6 ', ' comment ' ]
print(urlunparse(data))

在这里插入图片描述

urlsplit():

这个方法和 urlparse （）方法非常相似，只不过它不再单独解析 pa rams 这一部分，只运回 5 个结果。上面例子中的 params 会合并到 path 中 .
可以发现: 返回结果是 SplitResult ，它其实也是一个元组类型 ，既可以用属性获取值，也可以
用泵’引来获取。示例如下：

from urllib.parse import urlparse
result = urlparse('http://www.baidu.com/index .html; user?id=S#comment')
print(result.scheme,'\n', result[0])

在这里插入图片描述

urlunsplit():

与 urlunparse （）类似，它也是将链接各个部分组合成完整链接的方法，传人的参数也是一个可迭
代对象，例如列表、元组等，唯一的区别是长度必须为 5 。

from urllib.parse import urlunsplit
data =['http ','www.baidu.com ', 'index.html ','a=6 ', ' comment ']
print(urlunsplit(data))

在这里插入图片描述

urljoin():

生成链接还有另一个方法，那就是 urljoin （）方法。我们可以提供一个 base_url （基础链接）作为第一个参数，将新的链接作为第二个参数，该方法会分析 base_url 的 scheme 、 netloc 和 path这 3 个内容并对新链接缺失的部分进行补充，最后返回结果。

import urlparse
urlparse.urljoin(base, url2 )

参数：

base----案列网址
url ----需要构造的网址
规则:
第一个参数是基础母站的base，第二个是需要拼接成绝对路径的url2。
如果url2，是一个完整的url，则以后者的为准，所以，不管url2是不是短连接，都可以放进去拼接。
理解了上面的规则，对下面代码的输出结果，应该就可以有一个很好的理解。

from urllib.parse import urljoin
print(urljoin(' http://www. baidu. com', 'FAQ. html'))
print(urljoin('http://www .baidu.com ', 'https://cuiqingcai .com/FAQ .html'))
print(urljoin(' http://www.baidu.com/about. html', 'https://cuiqingcai. com/FAQ. html'))
print(urljoin (' http://www.baidu.com/about. html', 'https ://cuiqingcai.com/FAQ.html?question=2'))
print(urljoin (' http://www.baidu.com?wd=abc ',' https://cuiqingcai . com/index.php'))
print(urljoin('http://www .baidu.com ','?category=2#comment '))
print(urljoin('www.baidu .com','?category=2#comment'))
print(urljoin ('www .baidu.com#comment','? category=2'))

在这里插入图片描述

urlencode()：

urlencode （），它在构造 GET 请求参数的时候非常有用。

from urllib.parse import urlencode
params = {
    'name':"germey",
     'age':12
     }
base_url ="http://www.baidu.com?"
url = base_url + urlencode(params)
print(url)

在这里插入图片描述
首先声明了一个字典来将参数表示出来，然后调用 urlencode （）方法将其序列化为 GET 请求
参数。

parse_qs():

有了序列化，必然就有反序列化。如果我们有一串 GET 请求参数，利用 parse_qs （）方法，就可
以将它转回字典.

from urllib.parse import parse_qs
query= 'name=germey&age=22'
print(parse_qs(query))

在这里插入图片描述

parse_qsl():

parse_qsl （）方法: 它用于 将参数转化为元组组成的列表

from urllib.parse import parse_qsl
query= 'name=germey&age=22'
print(parse_qsl(query))

在这里插入图片描述
可以看到，运行结果是一个列表，而列表中的每一个元素都是一个元组，元组的第一个内容是参数名，第二个内容是参数值。

quote():

该方法可以将内容转化为 URL 编码的格式。 URL 中带有中文参数时，有时可能会导致乱码的问
题，此时用这个方法可以将文字符转化为 URL 编码。

from urllib.parse import quote
keyword ='壁纸'
url ='https://www.baidu.com/s?wd='+ quote(keyword)
print(url)

在这里插入图片描述

unquote()：

unquote （）方法：它可以进行 URL 解码

from urllib .parse import unquote
url = 'https://www.baidu.com/s?wd=%E5%A3%81%E7%BA%B8'
print(unquote(url))

在这里插入图片描述

分析 Robots 协议：

Robots 协议：

Robots 协议也称作爬虫协议、机器人协议，它的全名叫作网络爬虫排除标准（ obots Exclusion
Protocol ），用来告诉爬虫和搜索引擎哪些页面可以抓取，哪些不可以抓取。它通常是一个叫作 robots.txt的文本文件，一般放在网站的根目录下。
当搜索’爬虫访问一个站点时，它首先会检查这个站点根目录下是否存在 robots.txt 文件:

如果存在，搜索爬虫会根据其中定义的爬取范围来爬取。
如果没有找到这个文件，搜索爬虫便会访问所有可直接访问的页面。

苦逼的虾

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
【python爬虫】基本库_urllib

【python爬虫】基本库_urlliburllib . request 模块**urlopen （）方法:****Request:****高级用法--强大的工具 Handle：**代理：处理异常：解析链接：urlparse()：urlunparse()：urlsplit():urlunsplit():urljoin():urlencode()：parse_qs():parse_qsl():quote():unquote()：分析 Robots 协议：Robots 协议：urllib . request
复制链接

扫一扫