一篇文章带你搞懂强大的爬虫模块requests中的常用函数方法

最新推荐文章于 2024-03-29 16:34:41 发布
最新推荐文章于 2024-03-29 16:34:41 发布
阅读量1.1k 收藏 11
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pdcfighting/article/details/107218366
版权

点击上方“Python爬虫与数据挖掘”，进行关注

回复“书籍”即可获赠Python从入门到进阶共10本电子书

今

日

鸡

汤

天生我才必有用，千金散尽还复来。

/1 前言/

    requests 是Python里面的一个爬虫模块，它可以进行一个简单的get和post请求，它是对Python基础爬虫模块urllib的一个封装，所以，学爬虫学他就好了，高效易学。安装方式也很简单，只需运行下面的安装命令：

pip install requests

‍

或者运行下面的安装命令：

easy_install requests

即可进行安装了。

/2 基本用法/

基本用法如下表所示：

方法说明
requests.request()构造一个请求
requests.get()该方法用于向目标网址发送请求，接收响应.
requests.head()只请求页面的首部。
requests.post()请求服务器接受所指定的文档作为对所标识的URI的新的从属实体。
requests.put()从客户端向服务器传送的数据取代指定的文档的内容。
requests.patch()向URL提交局部更新请求。
requests.delete()请求服务器删除指定的页面。

/3 request方法/

该方法用于构造一个请求，可以是get post  put等任意一种

该方法的参数列举如下：

  • url：请求 URL。

  • params：请求参数，字典类型，常用于发送 GET 请求时使用。

  • timeout：超时时间 ，整数类型。

  • headers：设置请求头。

  • auth：指定登陆时的账号和密码，元祖类型

  • verify:请求网站时是否需要验证，布尔类型

  • proxies:设置代理

  • cookies：cookies 值

  • allow_redirects：布尔值，默认为Ture，重定向开关

  • stream：布尔值，默认为True，为True时会先下载响应头，当Reponse调用content方法时才下载响应体

  • cert：传入客户端的SSL证书，为字符串时应是 SSL 客户端证书文件的路径(.pem格式，文件路径包含密钥和证书)，如果是元组，就应该是一个(‘cert’, ‘key’) 二元值对。

/4 get方法/

get方法一般用于请求返回数据。

该方法返回一个 Response 对象，其常用的属性和方法列举如下：

  • response.url：返回请求网站的 URL

  • response.status_code：返回响应的状态码

  • response.encoding：返回响应的编码方式

  • response.cookies：返回响应的 Cookie 信息

  • response.headers：返回响应头

  • response.content：返回 bytes 类型的响应体

  • response.text：返回 str 类型的响应体，相当于 response.content.decode('utf-8')

  • response.json()：返回 dict 类型的响应体，相当于 json.loads(response.text)

/5 post方法/

post 一般用于表单提交，我这里为了偷懒用了个不存在的表单数据元素，嘿嘿，不过还是返回结果了。

post 还可用于上传文件，如图：

成功上传，不过如果你没找到上传文件接口，并没什么用。

post  发送json 数据，如图：

/6 put方法/

一般是从客户端向服务器传送的数据取代指定的文档的内容。

/7 patch方法/

一般就是向URL提交局部更新请求。

/8 delete方法/

一般就是请求服务器删除指定的页面。

/9 高级操作/

1）会话持久

#模拟淘宝登陆
import requests
url='https://login.taobao.com/member/login.jhtml?redirectURL=https%3A%2F%2Fai.taobao.com%2F%3Fpid%3Dmm_26632323_6762370_25910879'
headers={'user-agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36'}
formdata={'TPL_username':'fsdafdfasf','TPL_password':'fsadfasf'}
se=requests.session() #建立session会话
ss=se.post(url=url,headers=headers,data=formdata) #发送post请求
if ss.status_code==200: #判断登陆状态
  print('登录成功')
else:
  print('登录失败')

2）异常处理

exceptions 是requests中负责处理异常的模块，常见的有：

Timeout：请求超时

ConnectionError：网络问题，例如 DNS 故障，拒绝连接等

TooManyRedirects：请求超过配置的最大重定向数

注意 ：所有显式抛出的异常都继承自 requests.exceptions.RequestException

在这里我使用了一个不存在的网址，所以他会报错，如图：

3）证书验证

verify是在请求网站时需要输入证书时使用，平时很少用，他是个布尔类型。

import requests
from requests.packages import urllib3


urllib3.disable_warnings()
rep = requests.get("https://www.baidu.com",verify=False)
print(rep.status_code)

4）解析cookies

cookie={
 'Cookie'：'_NTES_PASSPORT=aOEPpKnlDYXUXQSkcZFQZBXoYvnlgVcVZFmcHjyVB_IJHglxHydKU4wq82VtzowQcq5ImZw__GXXKzljpyKX.GM8tzWOyErtUh1m6wuxM0uJWSwCeDqVunr2aaQhRJhk0qM3Bbga1reKecRS4htGKsQqPLizIXyXo9Dtalv2UQvZTrTYuKDdXduKFW8APOGSe'}


for i in Cookie.split(';'):
    k,v =i.split('=')
    cookie[k]=v


for k,v in cookie.items():
    print(k,":",v)


#将字典转为CookieJar：
cookiesJar = requests.utils.cookiejar_from_dict(self.cookies, cookiejar=None,overwrite=True)


#CookieJar转为字典
requests.utils.dict_from_cookiejar(cookiesJar)

/10 爬虫伪装浏览器/

常见字段1：

Accept: text/htnl, application/xhtml+xml, application/xmlq=0.9,中/*;q=08
Accept字段主要用来表示浏览器能够支持的内容类型有哪些。
text html表示HTMⅡL文档。
application/ xhtml+xm表示 XHTML文档。
application/xml表示XMAL文档。
q代表权重系数,值介于0和1之间。
所以这一行字段信息表示浏览器可以支持 text/html,application/xml、/等内容类型,支持的优先顺序从左到右依次排列。

常见字段2：

accept-encoding:gzip, deflate
accept-encoding字段主要用来表示浏览器支持的压缩编码有哪些。
gzip是压缩编码的一种。
deflate是一种无损数据压缩算法。
这一行字段信息表示浏览器可以支持gzp、 deflate等压缩编码。

常见字段3：

Accept- Language:zhCN,zh;q=0.8,en-US;q=0.5,cnq=0.3
Accept-language主要用来表示浏览器所支持的语言类型。
zh-CN表示简体中文语言。zh表示中文,CN表示简体
en-Us表示英语(美国）语言
en表示英语语言
所以之一行字段表示浏览器可以支持zh-CN、zh、en-US、cn等语言。

常见字段4：

User- Agent: Mozilla5.0( Windows NT61;WOw64;rv:47.0) Gecko20100101Firefox/47.0


user-agent字段主要表示用户代理,服务器可以通过该字段识别出客户端的浏览器类客户端的操作系统及版本号型、浏览器版本号主要以伪造该字段进行网页排版引擎等客户端信息。所以之前要模拟浏览器登录，主要以伪造该字段进行。


Mozilla5.0表示浏览器名和版本号


Windows NT61;WOw64;rv:47.0 表示客户端操作系统对应信息


Gecko表示网页排版引擎对应信息。


Firefox/47.0表示火狐浏览器


所以这一行字段表示信息为对应的用户代理信息是Mozilla5.0( Windows NT61;WOw64;rv:47.0) Gecko20100101Firefox/47.0

常见字段5：

Connection:keep-alive


Connection表示客户端与服务器的连接类型,对应的字段值主要有两种


keep-alive表示持久性连接。


close表示单方面关闭连接,让连接断开。


所以此时,这一行字段表示客户端与服务器的连接是持久性连接。

常见字段6：

Host: wwwyouku.con


Host字段表示请求的服务器网址是什么,此时这一行字段表示请求的服务器网址是www,youku,con。


常见字段7: Referer:网址


Referer字段主要表示来源网址地址,比如我们从htp:/ www,youku.conm网址中访问了该网址下的子页面http/tvyouku.com?spm=0.0.topnav.5-1-3!2-A.Onqoef,那么此时来源网址为htp:/ www,youku,con,即此时 Referer字段的值为http://www.youku. com

/11 使用代理服务器/

代码如下所示：

import urllib.request
import http.cookiejar
 
url = "https://www.baidu.com"


# 以字典的形式设置headers


headers ={


‘Accept’:‘text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3’，


‘Accept-Encoding’: ‘gzip, deflate, br’，


‘Accept-Language’: ’zh-CN,zh;q=0.9‘，


‘Cache-Control’: ’max-age=0‘，


‘Connection’: ‘keep-alive’，


’Cookie‘: ‘BAIDUID=167421B2A215854D04495CD1BF100157:FG=1; cflag=13%3A3; BIDUPSID=167421B2A215854D04495CD1BF100157; PSTM=1587911884; __guid=136081015.2148238240541301000.1587911412950.4026; BD_UPN=12314353; BDUSS=94RFdLQ21qZnZKUnNXczZaWERxbWVIM3ZFSXVFb2V1RlJyV3RGRnFoZG9TTk5lSUFBQUFBJCQAAAAAAAAAAAEAAABeBv1hyfG56rjCuMIAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAGi7q15ou6teUm; ZD_ENTRY=other; BD_HOME=1; H_PS_PSSID=1422_31326_21078_31421_31341_31270_31464_30824_26350_31164_31475_22160; monitor_count=1; BDSVRTM=300’，


‘Host’: ‘www.baidu.com’，


‘Sec-Fetch-Mode’: ‘navigate’，


‘Sec-Fetch-Site’: ’cross-site‘，


'Sec-Fetch-User': ‘?1’，


’Upgrade-Insecure-Requests‘: ‘1’，


‘User-Agent’: ‘Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36’


}


#设置cookie


jar = http.cookiejar.CookieJar()


opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(jar))


head= []


# 将制定格式的headers信息添加好


for k,v in headers.items():


    item = (k,v)


    head.append(item)


opener.addheaders = head


# 将opener安装为全局


urllib.request.install_opener(opener)


data = urllib.request.urlopen(url).read()


hand = open(r"C:\Users\Administrator\Desktop\te.html", "wb")


hand.write(data)


hand.close()

/12 不使用代理服务器/

代码如下所示：

import urllib.request
import http.cookiejar


url ="https://www.baidu.com"


# 以字典的形式设置headers


headers = {


   ‘Accept’:‘text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3’，


‘Accept-Encoding’: ‘gzip, deflate, br’，


‘Accept-Language’: ’zh-CN,zh;q=0.9‘，


‘Cache-Control’: ’max-age=0‘，


‘Connection’: ‘keep-alive’，


’Cookie‘: ‘BAIDUID=167421B2A215854D04495CD1BF100157:FG=1; cflag=13%3A3; BIDUPSID=167421B2A215854D04495CD1BF100157; PSTM=1587911884; __guid=136081015.2148238240541301000.1587911412950.4026; BD_UPN=12314353; BDUSS=94RFdLQ21qZnZKUnNXczZaWERxbWVIM3ZFSXVFb2V1RlJyV3RGRnFoZG9TTk5lSUFBQUFBJCQAAAAAAAAAAAEAAABeBv1hyfG56rjCuMIAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAGi7q15ou6teUm; ZD_ENTRY=other; BD_HOME=1; H_PS_PSSID=1422_31326_21078_31421_31341_31270_31464_30824_26350_31164_31475_22160; monitor_count=1; BDSVRTM=300’，


‘Host’: ‘www.baidu.com’，


‘Sec-Fetch-Mode’: ‘navigate’，


‘Sec-Fetch-Site’: ’cross-site‘，


'Sec-Fetch-User': ‘?1’，


’Upgrade-Insecure-Requests‘: ‘1’，


‘User-Agent’: ‘Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36’


}


#设置cookie


jar = http.cookiejar.CookieJar()


proxy = urllib.request.ProxyHandler({'http': "127.0.0.1:8000"})


opener = urllib.request.build_opener(proxy, urllib.request.HTTPHandler, urllib.request.HTTPCookieProcessor(jar))


# 建立空列表，为了以制定格式存储头信息


head = []


for k,v in headers.items():


    item = (k, v)


    head.append(item)


# 将制定格式的headers信息添加好


opener.addheaders = head


# 将opener安装为全局


urllib.request.install_opener(opener)


data = urllib.request.urlopen(url).read()


# data = data.decode("utf-8")


fhandle = open(r"C:\Users\Administrator\Desktop\et.html", "wb")


hand.write(data)


hand.close()

/8 小结/

1、本文基于爬虫库requests，主要剖析了该库中的7个常用方法。
2、整个requests库方法差不多就是本文介绍的这些，希望能够帮助到大家学习，今天就和大家分享这么多，感谢大家的支持！

------------------- End -------------------

往期精彩文章推荐：

欢迎大家点赞，留言，转发，转载，感谢大家的相伴与支持

想加入Python学习群请在后台回复【入群】

万水千山总是情，点个【在看】行不行

/今日留言主题/

随便说一两句吧~~

Python进阶者
关注
  • 0
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
python3+requests接口自动化session操作方法
09-20
本篇文章将详细讲解如何在Python3中结合`requests`库使用`session`对象进行接口自动化测试。 1. **理解requests.Session()** `requests.Session()` 是`requests`库提供的一个类，它维护了一个会话级别的HTTP连接。...
python制作爬虫并将抓取结果保存到excel中
09-21
在本篇【Python制作爬虫并将抓取结果保存到Excel中】的文章中，作者通过实践展示了如何使用Python来抓取拉勾网上的招聘信息并存储到Excel文件中。首先，我们需要理解爬虫的基本工作原理，即分析网站的请求过程。通过...
python爬虫（二）------requests模块及其常用方法-get()、post()
m0_59389084的博客
08-10 713
python爬虫（二）------requests模块及其常用方法-get()、post()
浏览器 Upgrade-Insecure-Requests:1 请求头的作用
qq_33019839的博客
09-27 5万+
今天在调试网站时，发现 html 请求头中有个 Upgrade-Insecure-Requests:1 参数，查了一下相关的资料，感觉挺有意思，记录一下。 html Upgrade-Insecure-Requests:1 请求头 HTTP Upgrade-Insecure-Requests 请求头向服务器发送一个客户端对HTTPS加密和认证响应良好，并且可以成功处理的信号，可以请求所属网站所有的H...
Python-request包常用的函数
最新发布
weixin_44860150的博客
03-29 715
这是一个通用的方法，用于发送任意的 HTTP 请求。method 参数是你要发送的 HTTP 方法的字符串（如 ‘GET’, ‘POST’, ‘PUT’ 等）。Python 的 requests 包是一个简单易用的 HTTP 库，用于发送各种 HTTP 请求。如果服务器响应了重定向，这个属性包含了一个响应列表，包含了重定向链中的所有响应。发送一个 HEAD 请求，这个方法通常用于获取资源的元数据，而不是资源本身。发送一个 OPTIONS 请求，这个方法用于描述 HTTP 请求的不同选项。
python爬虫入门之requests
m0_68441755的博客
06-03 1661
r.status_code#检测状态码，为200，可以正常访问，访问成功r.text这个代码用于交互式的IDLE中requests常用的几个主要方法：1，requests.request()构建一个请求，支撑一下2，requests.get()获取网页的主要方式，对应HTTP中的GET3，requests.head()获取开头信息的主要方式，对应HTTP中的HEAD4，requests.post()向HTML网页提交POST请求的方法，对应于HTTP中的POST。
Nginx配置Http响应头安全策略
RisunJan的博客
10-22 1万+
1. 防止跨站脚本攻击（XSS）：通过设置`CSP(Content-Security-Policy)`，可以限制浏览器只加载和执行来自特定来源的脚本，从而防止恶意脚本注入和执行。 2. 防止点击劫持攻击：通过设置`X-Frame-Options`响应头，可以防止网页被嵌入到其他网站的`iframe`中，避免用户在不知情的情况下触发恶意代码。 3. 提高网站安全性：通过设置`STS(Strict-Transport-Security)`响应头，强制浏览器使用`HTTPS协议`与服务器通信，从而防止信息在传输过
python 爬虫 requests学习案例
打过ICPC/CCPC，学习ACM算法，Linux内核，Openharmony，加油努力开心珍惜
02-07 4013
文章目录requests登录淘宝并访问搜索商品页面 requests登录淘宝并访问搜索商品页面 import requests import re from bs4 import BeautifulSoup import time import json import csv import hashlib def getMD5(s) : md5 = hashlib.md5() md5.update(s.encode('utf-8')) return md5.hexdigest() i
Requests库的7种方法
qq_43406976的博客
02-27 3466
Requests库的7个主要方法: (1）requests.request(method,url,kwargs): method:请求方法对应get/put/post/patch/delete/options等7种方法，url:获取页面的url；链接kwargs:控制访问的参数，共13个，均可选，如下： <1>params:字典或字节序列，作为参数增加到url中去（访问时带入参数） ...
爬虫技术-Requests模块.pptx
01-01
本篇主要介绍`requests`模块的安装、使用方法，以及如何处理代理和不信任的SSL证书。 1. **requests模块安装** `requests`库的安装非常简单，只需要通过Python的包管理工具`pip`即可完成。在命令行中输入以下命令...
python爬虫中多线程的使用详解
09-18
本篇文章将深入探讨如何在Python爬虫项目中利用多线程和`queue`库来实现高效的并发处理。 首先，`queue`是Python的标准库，它提供了线程安全的数据结构，特别适用于多线程环境中的数据交换。在Python 2.x中，这个...
Python爬虫代码两种思路.docx
09-22
本篇文章主要探讨两种Python爬虫代码的实现思路。 **方法一：基于requests和BeautifulSoup的爬虫** 1. **请求网页**：使用`requests`库向Web服务器发送HTTP请求，获取网页HTML内容。`requests`库是一个强大的...
❤️2万字带你走进python爬虫requests库，史上最全！！❤️
biyesheji1000的专栏
10-23 3818
4.1 requests 库简介 Requests 是一个为人类设计的简单而优雅的 HTTP 库。requests 库是一个原生的 HTTP 库，比 urllib3 库更为容易使用。requests 库发送原生的 HTTP 1.1 请求，无需手动为 URL 添加查询字串， 也不需要对 POST 数据进行表单编码。相对于 urllib3 库，requests 库拥有完全自动化 Keep-alive 和 HTTP 连接池的功能。requests 库包含的特性如下。 ❖ 1Keep-Alive
Requests库常用方法及参数介绍
ccc369639963的博客
03-11 6233
Requests库常用方法及参数介绍 Requests 库中定义了七个常用的请求方法，这些方法各自有着不同的作用，在这些请求方法中 requests.get() 与 requests.post() 方法最为常用。请求方法如下所示： 常用请求方法 方法 说明 requests.request() 构造一个请求对象，该方法是实现以下各个方法的基础。 requests.get() 获取HTML网页的主要方法，对应于 HTTP 的 GET 方法。 requests.head() 获取HTML
Python网络爬虫与信息提取【提取,规则】
极客神殿
09-19 550
网络爬虫之规则 常用的ide工具 Requests库入门 网站：http://www.python-requests.org Requests库安装方法（windows下） 安装python 以管理员权限打开Windows PowerShell,输入命令pip install requests安装 打开idle，输入命令import requests引入requests库 访问百度测试 r = requests.get("http://www.baidu.com") r.status_
数据爬虫（三）：python中requests库使用方法详解
热门推荐
Weiker的博客
02-02 9万+
一、什么是Requests Requests 是⽤Python语⾔编写，基于urllib，采⽤Apache2 Licensed开源协议的 HTTP 库。它⽐ urllib 更加⽅便，可以节约我们⼤量的⼯作，完全满⾜HTTP测试需求。 ⼀句话——Python实现的简单易⽤的HTTP库 二、安装Requests库 进入命令行win+R执行 命令：pip install requests ...
Python-第三方库requests详解
weixin_33671935的博客
12-16 8363
Requests 是用Python语言编写，基于 urllib，采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便，可以节约我们大量的工作，完全满足 HTTP 测试需求。Requests 的哲学是以 PEP 20 的习语为中心开发的，所以它比 urllib 更加 Pythoner。更重要的一点是它支持 Python3 哦！ Beautiful is...
requests库的简单函数
zhengalen的博客
04-25 1329
首先，Python 标准库中的 urllib2 模块提供了你所需要的大多数 HTTP 功能，但是它的 API 不友好。它是为另一个时代、另一个互联网所创建的。它需要巨量的工作，甚至包括各种方法覆盖，来完成最简单的任务，所以学习reuqests模块，比较简洁好用（以后慢慢会学习scapy，更强大的库），安装就不用说了 1 导入模块 　　>>> import requests 2 直
Python——Requests库主要方法解析——request函数
Noob_Zhou的博客
03-15 4711
（一）request()方法**kwargs 13个控制访问参数params: 字节或字节序列，作为增加到url中的参数2.data3.json(http协议最经常使用的数据格式）4.head（可模拟任何我们想要模拟的浏览器向服务器发起访问）代表了向某url发起访问时的http的头字段定制协议头5.cookiesfiles 向链接提供文件https 使用代理服务器进行爬虫，隐藏用户原ip地址htt...
使用python中requests模块写一个简单的网页爬虫
05-24
好的，下面是一个简单的使用 requests 模块爬取网页的示例代码： ```python import requests # 设置请求头，模拟浏览器访问 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'} # 发送请求并获取响应 url = 'http://www.example.com' response = requests.get(url, headers=headers) # 输出响应内容 print(response.text) ``` 上述代码中，我们首先设置了请求头，模拟浏览器访问，然后使用 requests.get() 方法发送请求并获取响应，最后输出响应内容。 需要注意的是，有些网站可能会对爬虫进行限制，因此我们在编写爬虫时需要注意遵守相关的法律法规，以及网站的使用规定。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值