第二章基本库的使用之urllib的使用

最新推荐文章于 2024-08-08 15:09:16 发布
最新推荐文章于 2024-08-08 15:09:16 发布
阅读量330 收藏
点赞数
分类专栏： 爬虫与逆向 文章标签： 爬虫 python 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/keven2840/article/details/122178998
版权
本文详细介绍了Python的urllib库，包括urllib.request、urllib.error、urllib.parse和urllib.robotparser模块的使用。讲解了如何发送HTTP请求、处理数据参数、设置超时、使用Request类、处理Cookie、代理、异常处理和解析URL等，并演示了如何遵循Robots协议。
摘要由CSDN通过智能技术生成

第二章基本库的使用之urllib的使用

urllib可以实现HTTP请求的发送，还可以把服务器返回的响应转换为python对象。

urllib库包含如下4个模块：

#request：这是最基本的HTTP请求模块，可以模拟请求的发送。就像在浏览器里输入网址然后按下回车一样，只需要给库方法传入URL以及格外的参数，就可以模拟实现发送请求的过程。

#error：异常处理模块。如果出现请求异常，那么我们可以捕获这些异常，然后进行重试或其他操作以保证程序运行不会意外终止。

#parse：一个工具模块。提供了许多URL的处理方法，例如拆分、解析、合并等。

#robotparser：主要用来识别网站的robot.txt文件，然后判断哪些网站可以爬，哪些网站不可以。

  1. 发送请求

了解本专栏 订阅专栏 解锁全文 超级会员免费看
keven2840
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
第二章基本库的使用之httpx
keven2840的博客
03-26 710
对于强制使用HTTP2.0/协议访问的网站，urllib和requests是无法爬取数据的，因为它们只支持HTTP1.1，不支持HTTP2.0，这时要使用httpx。 1、示例 https://spa16.scrape.center/就是强制使用HTTP/2.0访问的一个网站，这个网站用requests是无法爬取的，例： import requests url = 'https://spa16.scrape.center/' re = requests.get(url) print(re.text)
Python使用urllib库和BeautifulSoup库爬虫总结
kicilove的小屋
07-17 2747
最近简单学习了一点爬虫，为此做一个小的总结，还望批评指正Python爬虫总结检查是否安装成功 python python urllib from urllib.request import urlopen BeautifulSoup4 from bs4 import BeautifulSoup 存储数据到MySQL 通过pip安装pymysql pip install pymysql 通过
python：urllib.parse 用于解析 URL
点点关注不迷路
03-10 1998
python：urllib.parse 用于解析 URL
在Python3.0中使用HTTPServer处理web请求2-获取请求参数
phyeas的专栏
03-27 1222
继上次用HTTPServer写了一个简单的HTTPHandler后，我发现如果采用HTTPServer处理WEB请求的话系统没有提供获得请求参数的方法（如Java里的request.getParameter），这哪成，不能获取参数还跟用户交互个屁啊。于是又一头扎进了一望无垠的类库中。下面就是今天早上看来一个多小时的结果。 除上次说用到的那几个之外，这次新加了一个urllib 核心代码： urlli...
第二章 爬虫基本库的使用 2.1urllib的使用
qq_51926799的博客
05-22 236
本文介绍了Python中爬虫库urllib的使用。urllib是Python中用于处理URL和HTTP请求的标准库，它提供了丰富的功能和灵活性，允许开发者发送GET和POST请求，处理HTTP响应，以及处理网络错误等。文章详细阐述了urllib的基本使用方法，包括设置请求头、发送请求、获取响应内容等步骤，并通过示例代码展示了如何运用urllib来抓取网页数据。对于想要学习Python网络爬虫技术的开发者来说，掌握urllib的使用是非常必要的。
第二章 Urllib库的使用
weixin_48023487的博客
02-01 1466
文章目录第二章 Urllib库的使用2.1 基本使用2.1.1 urlopen()2.1.2 1个类型与6个方法2.1.3 data参数2.1.4 timeout参数2.1.5 Request2.2 解析链接2.2.1 urlparse()2.2.2 urlunparse()2.2.3 urlsplit()2.2.4 urlunsplit()2.2.5 urljoin()2.2.6 urllib.parse.quote()2.2.7 urllib.parse.urlencode()2.2.8 post请求0
第二章：网络请求-urllib库基本使用
weixin_43597208的博客
03-28 101
直接学习：https://edu.csdn.net/course/play/24756/280655 第二章：网络请求 1、urllib库基本使用 urllib库是内置库 urlopen 函数 创建一个表示远程url的类文件对象，然后像本地文件一样操作这个类文件对象来获取远程数据。 url:请求的url data:请求的data,如果设置了这个值，那么将变成post请求。 返回值：返回值是一个ht...
第二章 Urllib库之代理、Cookie
weixin_48023487的博客
02-11 3577
urllib库用法之Cookie处理以及代理服务器的一些基本使用
第二章基本库的使用之requests的使用
keven2840的博客
12-29 462
1、准备工作 首先要确保安装好requests库，如果尚未安装，可以使用pip3安装： pip3 install requests 2、实例引入 urllib库中的urlopen方法实际上是以GET方式请求网页，requests库中相应的方法就是get方法，例： import requests r = requests.get('https://www.baidu.com') print(type(r)) print(r.status_code) print(type(r.text)) pri
python常用库
10-17
**第二章 os.path模块** os.path模块主要用于处理文件路径，提供了一系列函数来检查路径的属性，如判断是否为目录、获取路径的基本组成部分等。 - `os.path.exists(path)`：检查路径是否存在。 - `os.path.join...
python数据分析与挖掘实战-第2章 数据获取.zip
04-30
总的来说，第二章的数据获取涵盖了Python在数据获取方面的基础知识，从简单的文件读取到复杂的网络爬虫，再到与数据库的交互，都是数据科学项目中不可或缺的部分。通过学习这些技能，我们可以高效地获取并准备好数据...
Python网络爬虫技术 第1章 Python爬虫环境与爬虫简介 教案.pdf
05-29
本章主要介绍Python爬虫环境的搭建和爬虫的基本概念，旨在帮助学生理解爬虫的运作原理，并能够应对常见的反爬虫策略。 **一、爬虫原理** 爬虫，又称网络蜘蛛或机器人，是一种自动化程序，通过模拟人类浏览网页的...
Practical-Data-Analysis-Second-Edition:实用数据分析第二版，由packt发行
05-28
#Practical Data Analysis-Second Edition这是Packt出版的的代码存储库。 它包含从头到尾完成本书所必需的所有支持项目文件。...第1章没有代码。 ＃＃相关产品 ###建议和反馈如果您有任何反馈或建议，请。
爬虫 Web Js 逆向基础：js 基础语法
最新发布
guanxxx的博客
08-08 325
网络爬虫对 Web Js 逆向主要是为了对各种研究加密参数，调试分析 JavaScript 代码来弄清加密参数的生成逻辑。对于加密参数的逆向方式，个人认为 “对 js 源码进行补环境来模拟加密参数生成” 这种方法更加方便。综上，想要做好 Js 逆向，了解 JavaScript 语法是必须的。
字体识别验证码的介绍！
Yu88893098的博客
08-08 133
是一种安全机制，‌通过要求用户识别特定字体来验证用户的身份或防止自动化攻击。‌这种验证码通常包含一些经过特殊设计的字符，‌需要用户根据这些字符的特定样式（‌如字体、‌字形等）‌来进行识别和输入。‌字体识别验证码的设计旨在增加机器自动化的难度，‌保护网站或应用免受恶意登录、‌刷票、‌灌水、‌爬虫等行为的攻击。‌此外，‌字体识别验证码还可以用来缓解系统的后台压力，‌如在秒杀、‌抢票等高并发场景中，‌通过强制要求用户进行人机交互，‌从而减轻系统的负担。
Python爬虫入门实战（详细步骤）
Python_trys的博客
08-06 1780
爬虫这个功能，我个人理解是什么语言都能写的，只要能正常发送 HTTP 请求，将响应回来的静态页面模版 HTML 上把我们所需要的数据提取出来就可以了，原理很简单，这个东西当然可以手动去统计收集，但是网络平台毕竟还是很多的，还是画点时间，写个爬虫把数据爬取下来，存到数据库里，然后写一个统计报表的 SQL 语句比较方便，后续如果有时间的话，我会写一个简单的前后端分离的报表样例分享出来。我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。
python 图片爬虫记录
waterHBO的博客
08-04 2750
看了2-3个小时的奥运会， 感觉内心空虚。写点代码。不知道做什么，随便搞一下爬虫，积累一点经验， 写篇博客，记录一下。
如何使用request库来替代urllib库
05-10
使用 `request` 库替换 `urllib` 库的步骤如下： 1. 安装 `requests` 库：在命令行中输入 `pip install requests`。 2. 导入 `requests` 库：在 Python 代码中，使用 `import requests` 导入 `requests` 库。 3. 使用 `requests.get()` 或 `requests.post()` 方法替换 `urllib.request.urlopen()` 方法。 例如，如果要用 `requests` 库发起一个 GET 请求，可以使用以下代码： ```python import requests response = requests.get('https://www.example.com') print(response.content) ``` 如果要发起一个 POST 请求，可以使用以下代码： ```python import requests payload = {'key1': 'value1', 'key2': 'value2'} response = requests.post('https://www.example.com', data=payload) print(response.content) ``` 需要注意的是，`requests.get()` 和 `requests.post()` 方法返回的是一个 `Response` 对象，而不是一个文件对象。因此，如果需要读取服务器返回的数据，可以使用 `response.content` 属性来获取响应内容。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

keven2840

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值