Python urllib库
Python urllib
库用于操作网页URL
,并对网页的内容进行抓取处理。
urllib
包 包含以下几个模块:
urllib.request
- 打开和读取URL
。urllib.error
- 包含urllib.request
抛出的异常。urllib.parse
- 解析URL
。urllib.robotparser
- 解析robots.txt
文件。
需要用的就是每个模块的内置方法和函数。大概方法如下图:
urllib.request模块
urllib.request
定义了一些打开URL
的函数和类,包含授权验证、重定向、浏览器cookies
等。
urllib.request
可以模拟浏览器的一个请求发起过程。
这里主要介绍两个常用方法,urlopen
和Request
。
urlopen
函数
语法格式如下:
urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)
url
:url
地址。data
:发送到服务器的其他数据对象,默认为None
。timeout
:设置访问超时时间。cafile
和capath
:cafile
为CA
证书,capath
为CA
证书的路径,使用HTTPS
需要用到。cadefault
:已经被弃用。context
:ssl.SSLContext
类型,用来指定SSL
设置。
示例:
import urllib.request
#导入urllib.request模块
url=urllib.request.urlopen("https://www.baidu.com")
#打开读取baidu信息
print(url.read().decode('utf-8'))
#read获取所有信息,并decode()命令将网页的信息进行解码
运行结果
<!DOCTYPE html><!--STATUS OK--><html><head><meta http-equiv="Content-Type" content="text/html;charset=utf-8"><meta http-equiv="X-UA-Compatible" content="IE=edge,chrome=1"><meta content="always" name="
html{color:#000;overflow-y:scroll;overflow:-moz-scrollbars}
body,button,input,select,textarea{font-size:12px;font-family:Arial,sans-serif}
h1,h2,h3,h4,h5,h6{font-size:100%}
em{font-style:normal}
small{font-size:12px}
ol,ul{list-style:none}
a{text-decoration:none}
a:hover{text-decoration:underline}
legend{color:#000}
fieldset,img{border:0}
button,input,select,textarea{font-size:100%}
...
response
对象是http.client.HTTPResponse
类型,主要包含read
、readinto
、getheader
、getheaders
、fileno
等方法,以及msg
、version
、status
、reason
、debuglevel
、closed
等属性。
常用方法:
read()
:是读取整个网页内容,也可以指定读取的长度,如read(300)
。获取到的是二进制的乱码,所以需要用到decode()
命令将网页的信息进行解码。readline()
: 读取文件的一行内容。readlines()
: 读取文件的全部内容,它会把读取的内容赋值给一个列表变量。info()
:返回HTTPMessage
对象,表示远程服务器返回的头信息。getcode()
:返回Http
状态码。如果是http
请求,200请求成功完成;404网址未找到。geturl()
:返回请求的链接。
Request 类
我们抓取网页一般需要对headers
(网页头信息)进行模拟,否则网页很容易判定程序为爬虫,从而禁止访问。这时候需要使用到urllib.request.Request
类:
class urllib.request.Request(url, data=None, headers={}, origin_req_host=None, unverifiable=False, method=None)
url
:url
地址。data
:发送到服务器的其他数据对象,默认为None
。headers
:HTTP
请求的头部信息,字典格式。origin_req_host
:请求的主机地址,IP
或域名。unverifiable
:很少用整个参数,用于设置网页是否需要验证,默认是False
。method
:请求方法, 如GET
、POST
、DELETE
、PUT
等。
示例:
import urllib.request
#导入模块
url = "https://www.baidu.com"
#网页连接
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36"
}
#定义headers,模拟浏览器访问
req = urllib.request.Request(url=url,headers=headers)
#模拟浏览器发送,访问网页
response = urllib.request.urlopen(req)
#获取页面信息
print(response.read().decode("utf-8"))
urllib.error模块
urllib.error
模块为urllib.request
所引发的异常定义了异常类,基础异常类是URLError
。
urllib.error
包含了两个方法,URLError
和HTTPError
。
URLError
是OSError
的一个子类,用于处理程序在遇到问题时会引发此异常(或其派生的异常),包含的属性reason
为引发异常的原因。
HTTPError
是URLError
的一个子类,用于处理特殊HTTP
错误例如作为认证请求的时候,包含的属性code
为HTTP
的状态码,reason
为引发异常的原因,headers
为导致HTTPError
的特定HTTP
请求的HTTP
响应头。
区别:
URLError
封装的错误信息一般是由网络引起的,包括url
错误。HTTPError
封装的错误信息一般是服务器返回了错误状态码。
关系:
URLError
是OSERROR
的子类,HTTPError
是URLError
的子类。
URLError
示例
from urllib import request
from urllib import error
if __name__ == "__main__":
#一个不存在的连接
url = "http://www.baiiiduuuu.com/"
req = request.Request(url)
try:
response = request.urlopen(req)
html = response.read().decode('utf-8')
print(html)
except error.URLError as e:
print(e.reason)
返回结果
[Errno -2] Name or service not known
此错误的原因。它可以是一个消息字符串或另一个异常实例。
HTTPError示例
from urllib import request
from urllib import error
if __name__ == "__main__":
#网站服务器上不存在资源
url = "http://www.baidu.com/no.html"
req = request.Request(url)
try:
response = request.urlopen(req)
html = response.read().decode('utf-8')
print(html)
except error.HTTPError as e:
print(e.code)
output
404
URLError
和HTTPError
混合使用
注意:由于HTTPError
是URLError
的子类,所以捕获的时候HTTPError
要放在URLError
的上面。
示例:
from urllib import request
from urllib import error
if __name__ == "__main__":
#网站服务器上不存在资源
url = "http://www.baidu.com/no.html"
req = request.Request(url)
try:
response = request.urlopen(req)
# html = response.read().decode('utf-8')
except error.HTTPError as e:
print(e.code)
except error.URLError as e:
print(e.code)
如果不用上面的方法,可以直接用判断的形式
from urllib import request
from urllib import error
if __name__ == "__main__":
#网站服务器上不存在资源
url = "http://www.baidu.com/no.html"
req = request.Request(url)
try:
response = request.urlopen(req)
# html = response.read().decode('utf-8')
except error.URLError as e:
if hasattr(e, 'code'):
print("HTTPError")
print(e.code)
elif hasattr(e, 'reason'):
print("URLError")
print(e.reason)
output
HTTPError
404
urllib.parse模块
模块定义的函数可分为两个主要门类:URL
解析和URL
转码。
urlparse()
urllib.parse
用于解析URL
,格式如下:
urllib.parse.urlparse(urlstring, scheme='', allow_fragments=True)
urlstring
为字符串的url
地址,scheme
为协议类型。
allow_fragments
参数为false
,则无法识别片段标识符。相反,它们被解析为路径,参数或查询组件的一部分,并fragment
在返回值中设置为空字符串。
标准链接格式为:
scheme://netloc/path;params?query#fragment
对象中包含了六个元素,分别为:协议(scheme)、域名(netloc)、路径(path)、路径参数(params)、查询参数(query)、片段(fragment)。
示例:
from urllib.parse import urlparse
o = urlparse("https://docs.python.org/zh-cn/3/library/urllib.parse.html#module-urllib.parse")
print('scheme :', o.scheme)
print('netloc :', o.netloc)
print('path :', o.path)
print('params :', o.params)
print('query :', o.query)
print('fragment:', o.fragment)
print('hostname:', o.hostname)
output
scheme : https
netloc : docs.python.org
path : /zh-cn/3/library/urllib.parse.html
params :
query :
fragment: module-urllib.parse
hostname: docs.python.org
以上还可以通过索引获取,如通过
print(o[0])
...
print(o[5])
urlunparse()
urlunparse()
可以实现URL
的构造。(构造URL
)
urlunparse()
接收一个是一个长度为6的可迭代对象,将URL
的多个部分组合为一个URL
。若可迭代对象长度不等于6,则抛出异常。
示例:
from urllib.parse import urlunparse
url_compos = ['http','www.baidu.com','index.html','user= test','a=6','comment']
print(urlunparse(url_compos))
output
http://www.baidu.com/index.html;user= test?a=6#comment
urlsplit()
urlsplit()
函数也能对 URL
进行拆分,所不同的是,urlsplit()
并不会把 路径参数(params) 从 路径(path) 中分离出来。
当URL
中路径部分包含多个参数时,使用urlparse()
解析是有问题的,这时可以使用urlsplit()
来解析.
urlunsplit()
与urlunparse()
类似,(构造URL
),传入对象必须是可迭代对象,且长度必须是5。
示例:
from urllib.parse import urlunsplit
url_compos = ['http','www.baidu.com','index.html','user= test','a = 2']
print(urlunsplit(url_compos))urlunsplit()
output
http://www.baidu.com/index.html?user= test#a = 2
urljoin()
同样可以构造URL
。
传递一个基础链接,根据基础链接可以将某一个不完整的链接拼接为一个完整链接.
注:连接两个参数的url
, 将第二个参数中缺的部分用第一个参数的补齐,如果第二个有完整的路径,则以第二个为主。
URL 转码
python
中提供urllib.parse
模块用来编码和解码,分别是urlencode()
与unquote()
。
编码quote(string)
URL
转码函数的功能是接收程序数据并通过对特殊字符进行转码并正确编码非ASCII
文本来将其转为可以安全地用作URL
组成部分的形式。它们还支持逆转此操作以便从作为URL
组成部分的内容中重建原始数据,如果上述的URL
解析函数还未覆盖此功能的话
语法:
urllib.parse.quote(string, safe='/', encoding=None, errors=None)
使用%xx
转义符替换string
中的特殊字符。字母、数字和 '_.-~' 等字符一定不会被转码。在默认情况下,此函数只对URL
的路径部分进行转码。可选的safe
形参额外指定不应被转码的ASCII
字符 --- 其默认值为 '/'。
string
可以是str
或bytes
对象。
示例:
from urllib import parse
url = "http://www.baidu.com/s?wd={}"
words = "爬虫"
#quote()只能对字符串进行编码
query_string = parse.quote(words)
url = url.format(query_string)
print(url)
执行结果:
http://www.baidu.com/s?wd=%E7%88%AC%E8%99%AB
编码urlencode()
quote()
只能对字符串编码,而urlencode()
可以对查询字符串进行编码。
# 导入parse模块
from urllib import parse
#调用parse模块的urlencode()进行编码
query_string = {'wd':'爬虫'}
result = parse.urlencode(query_string)
# format函数格式化字符串,进行url拼接
url = 'http://www.baidu.com/s?{}'.format(result)
print(url)
output
http://www.baidu.com/s?wd=%E7%88%AC%E8%99%AB
解码 unquote(string)
解码就是对编码后的url
进行还原。
示例:
from urllib import parse
string = '%E7%88%AC%E8%99%AB'
result = parse.unquote(string)
print(result)
执行结果:
爬虫
urllib.robotparser模块
(在网络爬虫中基本不会用到,使用较少,仅作了解)
urllib.robotparser
用于解析robots.txt
文件。
robots.txt
(统一小写)是一种存放于网站根目录下的robots
协议,它通常用于告诉搜索引擎对网站的抓取规则。
Robots
协议也称作爬虫协议,机器人协议,网络爬虫排除协议,用来告诉爬虫哪些页面是可以爬取的,哪些页面是不可爬取的。它通常是一个robots.txt
的文本文件,一般放在网站的根目录上。
当爬虫访问一个站点的时候,会首先检查这个站点目录是否存在robots.txt
文件,如果存在,搜索爬虫会根据其中定义的爬取范围进行爬取。如果没有找到这个文件,搜索爬虫会访问所有可直接访问的页面。
urllib.robotparser
提供了RobotFileParser
类,语法如下:
class urllib.robotparser.RobotFileParser(url='')
这个类提供了一些可以读取、解析robots.txt
文件的方法:
set_url(url)
- 设置robots.txt
文件的URL
。read()
- 读取robots.txt URL
并将其输入解析器。parse(lines)
- 解析行参数。can_fetch(useragent, url)
- 如果允许useragent
按照被解析robots.txt
文件中的规则来获取url
则返回True
。mtime()
- 返回最近一次获取robots.txt
文件的时间。这适用于需要定期检查robots.txt
文件更新情况的长时间运行的网页爬虫。modified()
- 将最近一次获取robots.txt
文件的时间设置为当前时间。crawl_delay(useragent)
- 为指定的useragent
从robots.txt
返回Crawl-delay
形参。如果此形参不存在或不适用于指定的useragent
或者此形参的robots.txt
条目存在语法错误,则返回None
。request_rate(useragent)
-以named tuple RequestRate(requests, seconds)
的形式从robots.txt
返回Request-rate
形参的内容。如果此形参不存在或不适用于指定的useragent
或者此形参的robots.txt
条目存在语法错误,则返回None
。site_maps()
- 以list()
的形式从robots.txt
返回Sitemap
形参的内容。如果此形参不存在或者此形参的robots.txt
条目存在语法错误,则返回None
。
NO.1
往期推荐
Historical articles
用Python预测了一下世界杯决赛最后的赢家,发现准确率还挺高!!
分享、收藏、点赞、在看安排一下?