关注RPA请访问网站:
www.i-search.com.cn
学Python,用RPA,欢迎下载使用
https://www.i-search.com.cn/?from=csdn
本章将告诉你该如何去对 request 模块进行二次封装,暂时并不会告诉你 HTTP 协议及原理、URL 等相关。当然你会使用然后在来阅读此文章一定会另有所获。我已经迫不及待要告诉你这个小秘密,以及想与你交流了。没时间解释了,快来一起和我一起探讨相关的内容吧
官方文档对 requests 的定义为:Requests 唯一的一个非转基因的 Python HTTP 库,人类可以安全享用。
使用 Python 写做爬虫的小伙伴一定使用过 requests 这个模块,初入爬虫的小伙伴也一定写过 N 个重复的 requests,这是你的疑问。当然也一直伴随着我,最近在想对 requests 如何进行封装一下,让他支持支持通用的函数。若需要使用,直接调用即可。
那么问题来了,如果要写个供自己使用通用的请求函数将会有几个问题
requests 的请求方式 (GET\POST\INPUT 等等)
智能识别网站的编码,避免出现乱码
支持文本、二进制 (图片、视频等为二进制内容)
以及还需要傻瓜一点,那就是网站的 Ua (Ua:User-Agent,基本上网站都会验证接受到请求的 Ua。来初步判断是爬虫还是用户)
那么咱们就针对以上问题开干吧