二次封装 requests,构造通用的请求函数

本文介绍如何对requests模块进行二次封装,创建一个支持多种请求方式、智能识别编码、包含User-Agent的通用请求函数。通过示例展示了封装后的`downloader`函数的使用方法,便于Python爬虫开发。
摘要由CSDN通过智能技术生成

关注RPA请访问网站:
www.i-search.com.cn
学Python,用RPA,欢迎下载使用
https://www.i-search.com.cn/?from=csdn

本章将告诉你该如何去对 request 模块进行二次封装,暂时并不会告诉你 HTTP 协议及原理、URL 等相关。当然你会使用然后在来阅读此文章一定会另有所获。我已经迫不及待要告诉你这个小秘密,以及想与你交流了。没时间解释了,快来一起和我一起探讨相关的内容吧

官方文档对 requests 的定义为:Requests 唯一的一个非转基因的 Python HTTP 库,人类可以安全享用。

使用 Python 写做爬虫的小伙伴一定使用过 requests 这个模块,初入爬虫的小伙伴也一定写过 N 个重复的 requests,这是你的疑问。当然也一直伴随着我,最近在想对 requests 如何进行封装一下,让他支持支持通用的函数。若需要使用,直接调用即可。

那么问题来了,如果要写个供自己使用通用的请求函数将会有几个问题

requests 的请求方式 (GET\POST\INPUT 等等)
智能识别网站的编码,避免出现乱码
支持文本、二进制 (图片、视频等为二进制内容)
以及还需要傻瓜一点,那就是网站的 Ua (Ua:User-Agent,基本上网站都会验证接受到请求的 Ua。来初步判断是爬虫还是用户)
那么咱们就针对以上问题开干吧

</

评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值