爬虫中的urllib库使用

最新推荐文章于 2023-06-06 10:10:02 发布
最新推荐文章于 2023-06-06 10:10:02 发布
阅读量557 收藏
点赞数 1
文章标签： 爬虫 python 服务器 urllib库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44617651/article/details/129612681
版权

在学习爬虫的前，我们应该首先了解下Urllib库，其实他是Python内置的 HTTP 请求库，说白了就是不需要我们另外的安装就可以直接使用，正常来说他包含了下面四个模块：

request：它是最基本的HTTP请求模块，可以用来模拟发送请求。只需要给库方法传入URL以及额外的参数，就可以模拟实现请求过程了。

error：异常处理模块，如果出现请求错误，我们可以捕获这些异常，然后进行修正。

parse：一个工具模块，提供了许多URL处理方法，比如拆分、解析、合并等。

robotparser：主要是用来识别网站的robots.txt文件，判断哪些网站可以爬哪些网站不可以爬，其实用得比较少。

怎样爬网页呢？

from urllib.request import urlopen

response = urlopen("http://www.baidu.com")
print(response.read().decode())

常见到的方法

requset.urlopen(url,data,timeout)

第一个参数url即为URL，第二个参数data是访问URL时要传送的数据，第三个timeout是设置超时时间。
第二三个参数是可以不传送的，data默认为空None，timeout默认为 socket._GLOBAL_DEFAULT_TIMEOUT
第一个参数URL是必须要传送的，在这个例子里面我们传送了百度的URL，执行urlopen方法之后，返回一个response对象，返回信息便保存在这里面。

response.read()

read()方法就是读取文件里的全部内容，返回bytes类型

response.getcode()

返回 HTTP的响应码，成功返回200，4服务器页面出错，5服务器问题

response.geturl()

返回 返回实际数据的实际URL，防止重定向问题

response.info()

返回 服务器响应的HTTP报头

Request对象

request模块主要负责构造和发起网络请求，并在其中添加Headers，Proxy等。
利用它可以模拟浏览器的请求发起过程。

其实上面的urlopen参数可以传入一个request请求,它其实就是一个Request类的实例，构造时需要传入Url,Data等等的内容。比如上面的两行代码，我们可以这么改写

from urllib.request import urlopen
from urllib.request import Request

request = Request("http://www.baidu.com")
response = urlopen(requst)
print (response.read().decode())

运行结果是完全一样的，只不过中间多了一个request对象，推荐大家这么写，因为在构建请求时还需要加入好多内容，通过构建一个request，服务器响应请求得到应答，这样显得逻辑上清晰明确

通过urllib发送的请求会有一个默认的Headers: “User-Agent”:“Python-urllib/3.6”，指明请求是由urllib发送的。所以遇到一些验证User-Agent的网站时，需要我们自定义Headers把自己伪装起来。

在这里插入图片描述

运行爬虫的时候，经常会出现被封IP的情况，这时我们就需要使用ip代理来处理，urllib的IP代理的设置如下

在这里插入图片描述

在开发爬虫过程中，对cookie的处理非常重要，urllib的cookie的处理如下：

在这里插入图片描述

Get 请求

大部分被传输到浏览器的html，images，js，css, … 都是通过GET方法发出请求的。它是获取数据的主要方法

例如：www.baidu.com 搜索

Get请求的参数都是在Url中体现的,如果有中文，需要转码，这时我们可使用。

urllib.parse.urlencode()
urllib.parse. quote()
parse.urlencode()

在发送请求的时候，往往会需要传递很多的参数，如果用字符串方法去拼接会比较麻烦，parse.urlencode()方法就是用来拼接url参数的。

在这里插入图片描述

运行结果：

在这里插入图片描述

也可以通过parse.parse_qs()方法将它转回字典。

在这里插入图片描述
在这里插入图片描述

parse.quote()

url中只能包含ascii字符，在实际操作过程中，get请求通过url传递的参数中会有大量的特殊字符，例如汉字，那么就需要进行url编码。

例如https://www.baidu.com/s?wd=%E6%AF%9B%E5%88%A9

from  urllib import parse
url = 'https://www.baidu.com/s?wd={}'
save_url = url.format(parse.quote('毛利'))
print(save_url)
url = parse.unquote(save_url)
print(url)

https://www.baidu.com/s?wd=%E6%AF%9B%E5%88%A9
https://www.baidu.com/s?wd=毛利

我们需要将编码进行url编码

Post 请求

我们说了Request请求对象的里有data参数，它就是用在POST里的，我们要传送的数据就是这个参数data，data是一个字典，里面要匹配键值对

发送请求/响应header头的含义：

在这里插入图片描述

响应的编码

响应状态码

响应状态代码有三位数字组成，第一个数字定义了响应的类别，且有五种可能取值。

常见状态码：

在这里插入图片描述

Ajax的请求获取数据

有些网页内容使用AJAX加载，而AJAX一般返回的是JSON,直接对AJAX地址进行post或get，就返回JSON数据了。

请求 SSL证书验证

现在随处可见 https 开头的网站，urllib可以为 HTTPS 请求验证SSL证书，就像web浏览器一样，如果网站的SSL证书是经过CA认证的，则能够正常访问，如：https://www.baidu.com/。

# 忽略SSL安全认证
context = ssl._create_unverified_context()
# 添加到context参数里
response = urllib.request.urlopen(request, context = context)

总结

对于urllib库，个人不建议使用,只需要了解parse.urlencode()和parse.quote()即可。

q56731523
关注
from urllib.request import urlopen
weixin_30257433的博客
11-17 3574
from urllib.request impor urlopen (负责打开浏览url内的html 文本) re.compile(r'alex(?P<name>\d+)and')　　　　# compile 编译 汇编 compile 编译,汇编 转载于:https://www.cnblogs.com/jack20181017/p/9973333.html...
大数据采集入门—网络爬虫技术—urllib库
m0_47396944的博客
04-29 692
urllib库 urlib库是Python中一个最基本的网络请求库。可以模拟浏览器的行为，向指定的服务器发送一个请求，并可以保存服务器返回的数据。 导入urlib库常用模块： import urllib.request import urllib.error import urllib.parse 【常见函数】： 在Python3的urllib库中，所有和网络请求相关的方法，都被集到urllib.request模块下面了 1、urlopen函数 打开链接，获取网页内容元素 url="http://wt
Python3中urlopen()详解
xiaoyaozi2020的博客
06-06 2201
data参数：data用来指明发往服务器请求中的额外的参数信息（如：在线翻译，在线答题等提交的内容），data默认是None，此时以GET方式发送请求；read() , readline() ,readlines() , fileno() , close() ：对HTTPResponse类型数据进行操作。直接用urllib.request模块的urlopen（）获取页面，page的数据格式为bytes类型，需要decode（）解码，转换成str类型。#用户自定义表单，words表示的是用户要翻译的内容。
爬虫基础_urllib
demonscg的博客
02-06 1554
urllib库的结构 urllib库包含以下四个模块: request: 基本的HTTP请求模块 error: 异常处理模块 parse: 工具模块 robotparser: 识别robots.txt的模块 urlopen方法 使用urlopen方法可以发送简单请求 API urllib.request.urlopen(url, data=None, [timeout,] *, cafile=None, capath=None, cadefault=False, context=None) url:
《学习笔记57》—— python的内置urllib库（HTTP请求库）的使用
weixin_53801131的博客
05-30 1108
python的内置urllib库（HTTP请求库） 介绍： ​ Python urllib 库用于操作网页 URL，并对网页的内容进行抓取处理。 urllib库主要包含以下几个模块： urllib.request - 打开和读取 URL urllib.error- 包含 urllib.request 抛出的异常。 urllib.parse - 解析 URL urllib.robotparser - 解析 robots.txt 文件 可以通过以下语句来引入urllib库: import urllib.
Python爬虫中urllib库的进阶学习
09-20
在Python爬虫领域，urllib库是基础且重要的工具之一，它提供了多种功能来处理URL相关的任务。本篇文章将深入探讨urllib库的进阶用法，包括使用HTTP的POST请求方法、设置headers模拟浏览器操作、处理error异常以及...
Python爬虫之urllib库
12-22
但在Python3中，就只有urllib库了。由于现在普遍流行只用Python3了，所以了解urllib库就行了。查看Python源文件知道urllib库包括5个模块，分别是：request、error、parse、robotparser、response。但我翻阅了一些...
python爬虫之urllib库常用方法用法总结大全
01-20
本文主要介绍的是关于python urllib库常用方法用法的相关内容，下面话不多说了，来一起看看详细的介绍吧 1、读取cookies import http.cookiejar as cj,urllib.request as request cookie = cj.CookieJar() handler ...
爬虫-python（二）初识urllib.request
XiaoDao147258369的博客
01-25 254
继续写。 上一篇写了最简单的一个爬虫，这次我们改下url地址，换成糗百，修改完的代码如下： from urllib.request import urlopen # 发送请求，获取服务器给的响应 url = "https://www.qiushibaike.com/" response = urlopen(url) # 读取结果,无法正常显示中文 html = response.read() # 进行解码操作，转为utf-8 html_decode = html.decode() # 打印结果 p
Python 爬虫干货之urllib库
rich369的博客
07-09 193
小试牛刀 怎样扒网页呢？ 其实就是根据URL来获取它的网页信息，虽然我们在浏览器中看到的是一幅幅优美的画面，但是其实是由浏览器解释才呈现出来的，实质它是一段HTML代码，加 JS、CSS，如果把网页比作一个人，那么HTML便是他的骨架，JS便是他的肌肉，CSS便是它的衣服。所以最重要的部分是存在于HTML中的，下面我们就写个例子来扒一个网页下来 from urllib.request import urlopen response = urlopen(“http://www.baidu.com”) pr.
python爬虫之urllib库的高级用法（案例解释）
sjjsaaaa的博客
12-14 256
urllib库的高级用法 设置请求头 from fake_useragent import UserAgent这个库获取请求头 from urllib.request import urlopen,Request from urllib.parse import urlencode from fake_useragent import UserAgent url = "https://www.12306.cn/index/" headers = {"User-Agent":UserAgent().rand
Python:Unused import statement 解决方法
热门推荐
麒麟阁
05-26 2万+
Python 学习 21052601 1. Unused import statement 解决方法 Pycharm file 菜单下有Invalidatecaches/Restart菜单栏，点击清除缓存重新启动Pycharm即可 2. Identi
python urllib包基本使用方法
python学习者的博客
08-24 4505
urllib 是一个 python 内置包，不需要额外安装即可使用，包里面包含了以下几个用来处理 url 的模块： urllib.request，用来打开和读取 url，意思就是可以用它来模拟发送请求，就像在浏览器里输入网址然后敲击回车一样，获取网页响应内容。 urllib.error，用来处理 urllib.request 引起的异常，保证程序的正常执行。 urllib.parse，用来解析 url，可以对 url 进行拆分、合并等。 urllib.robotparse，用来解析 robots.txt
爬虫日记(4)：urllib的基本使用
大坡3D软件开发
03-05 398
前面已经看到urllib库的魔力，了了数行就可以把网页的内容抓取下来，为了以后打下坚实的基础，在本文里对urllib库更进一步了解，学会它的基本使用方法。 urllib 是一个 python 内置包，不需要额外安装即可使用，包里面包含了以下几个用来处理 url 的模块： urllib.request，用来打开和读取 url，意思就是可以用它来模拟发送请求，就像在浏览器里输入网址然后敲击回车一样，获取网页响应内容。 urllib.error，用来处理 urllib.request 引起的异常，保证.
Python-玩转数据-urllib库
s_unbo的博客
02-08 1221
Python-玩转数据-urllib库 一、说明： urllib库是python内置的一个http请求库，requests库就是基于该库开发出来的，虽然requests库使用更方便，但作为最最基本的请求库，了解一下原理和用法还是很有必要的。 二、urllib四个模块组成： urllib.request　　 请求模块(就像在浏览器输入网址，敲回车一样) urllib.error　　　 异常处理模块(出现请求错误，可以捕捉这些异常) urllib.parse　　 url解析模块 urllib.robotpars
from urllib import request
zhl93206的博客
07-14 2076
python urllib学习 urllib是python自带的网络请求库，不需要安装可以直接使用，可以模拟浏览器向服务器发送网络请求，并接收响应数据。 python有关网络请求的方法全部集中于request库。 request库的函数： urlopen(url, data)用于模仿浏览器向服务器发送网络请求，并接收响应 ''' uirl：请求的地址 data：添加数据，会默认为POST方法 返回值类型：http.client.HTTPResponse，返回值读取：read(SIZE),..
Python3中 from urllib import request 与 import urllib.request 区别
挑食de猪队友的博客
07-27 6767
from urllib import request 与 import urllib.request 区别： 粘两段代码就懂了 from urllib import request response = request.urlopen("http://www.baidu.com") print ( response.read() ) import urllib.request res...
urllib.request.urlopen post提交
最新发布
10-31
在Python中，`urllib.request`模块提供了一系列用于HTTP请求的功能，包括发送POST数据。`urlopen`函数主要用于打开URL，而`request.urlopen(url, data=None, [data])`可以用来发起GET或POST请求。 如果你想要通过POST方法向某个URL提交数据，你可以这样做： ```python import urllib.parse import urllib.request # 要提交的数据 data = {'key1': 'value1', 'key2': 'value2'} # 将数据编码为适合网络传输的格式（通常是JSON或form-data） data_encoded = urllib.parse.urlencode(data).encode('utf-8') # 设置请求头，告诉服务器这是POST请求 headers = {"Content-Type": "application/x-www-form-urlencoded"} # URL地址 url = "http://example.com/api/submit" # 发起POST请求 with urllib.request.Request(url, data=data_encoded, headers=headers) as req: with urllib.request.urlopen(req) as response: # 读取响应内容 response_content = response.read().decode('utf-8') print("Response:", response_content) ``` 这里的关键部分在于： - `urllib.parse.urlencode(data)`将字典转为键值对形式的查询字符串（对于非复杂数据结构）。 - `data.encode('utf-8')`将查询字符串编码为字节，因为HTTP默认接收二进制数据。 - `Request`构造函数中设置了`data`参数和`headers`，其中`Content-Type`指定了数据类型。 记得替换`http://example.com/api/submit`为你实际的目标URL。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值