python爬虫之request库的使用（友好版）

已于 2023-05-23 17:30:15 修改
阅读量7.4k 收藏 99
点赞数 15
分类专栏： Python 文章标签： python 爬虫 开发语言
于 2023-05-23 17:26:38 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_58279299/article/details/130600900
版权

以下所有爬取的网站都是可以爬取的，爬取时请先学学法律哦~

如有侵权，私信删除~

本章目录~。~

一，request库简介：

二，requests使用方法

1.GET请求

1.1，发起一个get请求

1.2，利用GET请求发送额外的信息

1.4，抓取网页信息

 1.5 抓取网页二进制数据（照片，视频，音频）

 1.6，请求头部（帮助我们转为浏览器的样式）

2.POST请求

2.1 POST请求访问

 2.2 POST请求的响应

2.2.1 网页访问状态码的几种结果：

3.requests高级用法

3.1文件上传 

3.2Cookie获取

3.3 Session维持

3.4 SLL证书验证

 3.5 超时设置

3.6 身份认证

 3.7 代理设置

一，request库简介：

        1，Requests是一个Python中的HTTP库，用于向Web服务器发送HTTP请求并获取响应。Requests库的使用方式与urllib库类似，但更加简单和灵活。Requests库支持HTTPS请求，并且可以自动处理cookies和会话，使得操作更加方便。

Requests库的主要特点如下：

  1. 简单易用：Requests库的使用方式简单明了，可以很容易地编写出高效、可靠的HTTP请求。
  2. 自动处理cookies和会话：Requests库可以自动处理cookies和会话，使得在处理Web服务器时更加方便和安全。
  3. 支持HTTPS：Requests库支持HTTPS请求，可以在安全的环境下发送HTTP请求。
  4. 可靠性高：Requests库的请求是异步的，这意味着它们可以在后台异步执行，不会阻塞主线程。此外，Requests库还支持连接池，可以确保每次请求都会使用相同的连接，提高了请求的可靠性。
  5. 多路复用：Requests库支持多路复用，可以将请求分派给多个异步线程处理，提高了处理效率。

2，安装下载

pip install requests

3，了解GET请求和POST请求

        HTTP中最常见的两种请求GET和OPST。

        GET请求：就是在浏览器中输入网址加回车就是GET请求，请求参数会直接包含到网址里，例如我们在百度搜索爬虫关键字，就会包含到请求的URL中

        

         POST请求：大多数在提交表单时发起的，例如在登录页面输入账号密码后，点击登录后通常以POST请求将数据以表单的形式传输，不会提现在URL中

        GET和POST是两种最常见的HTTP请求方法，它们在客户端与服务器之间传输数据时有一些关键区别：

  1. 用途：GET主要用于请求数据，而POST主要用于提交数据。GET请求用于获取数据，不会改变服务器上的数据；POST请求用于创建或更新服务器上的数据。
  2. 数据传输方式：GET请求将参数附加在URL上，参数之间使用&符号分隔。POST请求则将数据放在HTTP请求的消息体中，使用特定的编码格式。
  3. URL中的参数：GET请求中的参数是可见的，因为它们直接附加在URL上。这可能导致安全性问题，因为敏感信息可能会泄露。POST请求中的参数不会显示在URL中，因此相对更安全。
  4. 数据大小限制：GET请求对数据大小有限制，因为浏览器和服务器对URL长度有限制。POST请求没有这种限制，可以传输大量数据。
  5. 缓存：GET请求的响应通常会被浏览器缓存，而POST请求的响应通常不会被缓存。因此，使用GET请求可能会导致浏览器显示过时的数据，而POST请求不会。
  6. 幂等性：GET请求是幂等的，意味着无论请求多少次，服务器上的数据都不会发生变化。POST请求不是幂等的，因为每次请求都可能在服务器上创建或修改数据。
  7. 书签和历史记录：GET请求可以被添加到书签和浏览器历史记录中，而POST请求不会被添加。
  8. 服务器负载：一般来说，POST请求比GET请求对服务器产生更多的负载，因为POST请求可能需要处理更大的数据量和更复杂的操作。

二，requests使用方法

1.GET请求

1.1，发起一个get请求

import requests as rq  #别名为rq

# 该网页会判断客户端发起的请求是否为GET请求
url = "https://www.httpbin.org/get"
rq = rq.get(url)  # 发起GET请求
print(rq.text)  # 将内容转为text格式

如果成功发送了GET请求那么会返回一下结果： 

1.2，利用GET请求发送额外的信息

例如，我们要出入name值和age值：

import requests as rq

# 设定参数，以字典的形式传入
data = {
    "name": "张三",
    "age": "22"
}
# 该网页会判断客户端发起的请求是否为GET请求
url = "https://www.httpbin.org/get"
rq = rq.get(url, params=data)  # 发起GET请求,并用params传入设定参数
print(rq.text)  # 将内容转为text格式

传入的参数中如果带中文，那么久会自动转为十六进制的信息

如图： 

1.3，返回JSON格式数据方法

如果网页返回的类型虽然是str类型，但是它时JSON格式，如果想直接解析并返回结果，得到一个json格式的数据，可以直接调用json方法：

import requests as rq


# 该网页会判断客户端发起的请求是否为GET请求
url = "https://www.httpbin.org/get"
rq = rq.get(url)  # 发起GET请求,并用params传入设定参数
print(f"字符串格式：{type(rq.text)}")  # 直接返回的格式类型为字符串
print(f"转为json格式：{type(rq.json())}")  # 转为json格式
print(f"json格式输出内容：{rq.json()}")  # 转为json格式

可以发现调用json格式的字符串转为了字典 

1.4，抓取网页信息

我想抓取以下网页的电影标签：Scrape | Movie

进入网页--摁F12进入开发者模式---用左上角 小箭头点击电影名字，可以看到该名字在h2的二号标题下 

当我们想抓取该网站的时候会出现以下错误：

requests.exceptions.SSLError: HTTPSConnectionPool(host='ssr1.scrape.center', port=443): Max retries exceeded with url: / (Caused by SSLError(SSLCertVerificationError(1, '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:997)')))

当出现该错误表示 “请求异常，SSL错误”解决办法就是引用urllib3的disable_warnings()来关闭警告，在用verify=False的方式关闭ssl认证，但还有其他方式请走链接：

(16条消息) requests.exceptions.SSLError 请求异常，SSL错误，证书认证失败问题解决_Xin学数据的博客-CSDN博客https://blog.csdn.net/qq_45476428/article/details/107254054

import requests as rq
import urllib3
urllib3.disable_warnings()  # 关闭不安全请求警告


url = "https://ssr1.scrape.center/"
# 发起GET请求,并用params传入设定参数,传入 verify=False 避免ssl认证
request = rq.get(url, verify=False)  
print(request.text) # 以text的格式返回

抓取到网页返回结果以后，想要提取h2包裹的电影名称，那么我们就用正则表达式的方式去提取

 那么正则表达式不熟悉的小伙伴请走一下链接：

(16条消息) Python3正则表达式_i鲸落i的博客-CSDN博客

 那么我们截取h2标题下的内容就可以了：

import requests as rq
import urllib3
import re

urllib3.disable_warnings()  # 关闭不安全请求警告


url = "https://ssr1.scrape.center/"
# 发起GET请求,并用params传入设定参数,传入 verify=False 避免ssl认证
request = rq.get(url, verify=False)
pattern = re.compile('<h2.*?>(.*?)</h2>', re.S) # 截取h2标题的内容，包括换行符在内的任意字符（. 不包括换行符）
titles = re.findall(pattern, request.text)
print(titles)

 抓取后的内容：

 1.5 抓取网页二进制数据（照片，视频，音频）

例如我们要抓取莫网站的免费音乐下载到本地：

打开网页---点到音乐详情---摁F12打开开发者模式----找到.mp3结尾的网址，发起请求即可 

例如：

我们知道图片，视频，音频这些文件本质上就是二进制吗组成的，所以我们在抓取网页的时候，将抓取的信息以二进制的信息转为字节码格式写入到文件中，保存下来就是一个完整的文件

文件写入，读取不会的可以走以下链接：

链接先等等 马上补上0.0 或者 自行百度，回头我会更新哈~

import requests as rq

url = "https://lu-sycdn.kuwo.cn/dddd43c69c11a0cf9a27988208dea300/645c9a7e/resource/n3/6/44/3638605905.mp3"
request = rq.get(url)  
# 当我们直接抓取返回数据的时候是二进制数据，会乱码，所以我们要将二进制码写到文件中
with open('可能.mp3', 'wb') as f:
    # content 转为字节码，也就是转为二进制的方式写入文件中
    f.write(request.content)

 抓取后的效果： 双击就可以播放啦

 

 1.6，请求头部（帮助我们转为浏览器的样式）

        在上面的实验中我们没有添加请求头部，这样的话在某些网站会发现这并不是一个正常的浏览器发送的请求信息，于是返回错误的结果或者异常报错，所以我们添加请求头部的方式如下：

随便找一个网页打开---摁下F12---找到user-Agent，就是你浏览器的头部信息，复制下来并以字典的格式定义一个变量加入到访问请求中

 在请求网页的时候加入：

import requests as rq

# 定义请求头部
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/111.0.0.0 Safari/537.36 Edg/111.0.1661.62"
}

url = "https://lu-sycdn.kuwo.cn/dddd43c69c11a0cf9a27988208dea300/645c9a7e/resource/n3/6/44/3638605905.mp3"
request = rq.get(url, headers=headers) # 将请求头部加入到get访问请求中

2.POST请求

2.1 POST请求访问

POST请求与GET请求类似，例如：我们访问一个可以测试post的网页

import requests as rq


# 定义请求头部
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/111.0.0.0 Safari/537.36 Edg/111.0.1661.62"
}

data = {'name': "zhangsan", "password": "123456"}  # 定义发起请求的数据
url = "https://www.httpbin.org/post" # 测试post请求的网址
request = rq.post(url=url, headers=headers, data=data) # data字样就是定义传输的数据所用
print(request.text)

会将我们的内容传入到网页中，并返回 

 2.2 POST请求的响应

当我们用post请求访问网页的时候，如何将页面中的信息（状态码，响应头等）返回呢？

import requests as rq


# 定义请求头部
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/111.0.0.0 Safari/537.36 Edg/111.0.1661.62"
}

# data = {'name': "zhangsan", "password": "123456"}
url = "https://www.baidu.com"
request = rq.get(url=url, headers=headers)
print(f"访问网页状态码：{request.status_code}")
print(f"访问网页头部信息：{request.headers}")
print(f"访问网页cookies：{request.cookies}")
print(f"访问网页网址：{request.url}")
print(f"访问网页历史：{request.history}")

测试结果：

2.2.1 网页访问状态码的几种结果：

  • 200：服务器正常响应。
  • 404：未找到请求的内容。
  • 500：服务器内部错误。
  • 503：服务器临时维护。
  • 403：禁止访问。
  • 301：永久重定向。
  • 302：重定向。
  • 303：可重定向。
  • 307：临时重定向。
  • 400：不允许的请求。
  • 401：未授权。
  • 402：付款表单未提交。
  • 403：禁止访问。
  • 404：未找到请求的内容。
  • 405：方法不受支持。
  • 406：不接受 HTTP 方法。
  • 407：请求的 URI 不合法。
  • 408：重复请求。
  • 409：冲突。
  • 410：超时。
  • 411：未知错误。
  • 412：格式错误。
  • 413：请求太大。
  • 414：不允许的请求体。
  • 415：未描述的错误。
  • 416：不支持的媒体类型。
  • 417：请求包含无效的参数。
  • 418：未处理的错误。
  • 429：过载。
  • 500：服务器内部错误。
  • 503：服务器临时维护。
  • 504：服务器遇到错误。
  • 505：网络错误。

----------------------------------以上就是request的基本操作-----------------------------------------------

3.requests高级用法

requests库高级用法，例如文件上传，Cookie设置，代理设置等

3.1文件上传 

我们随便传一张很小的图片到网页上试试看：

import requests as rq


# 定义请求头部
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/111.0.0.0 Safari/537.36 Edg/111.0.1661.62"
}

data = {'picture': open('1.png', 'rb')}  # 以二进制的方式读取文件内容
url = "https://httpbin.org/post"  
request = rq.post(url, files=data) # 将文件以二进制的方式传入到网页中
print(request.text)

运行结果：

上传文件后，网站会返回响应，响应中包含files字段和from字段，而from字段是空的，证明文件上传部分会单独用一个files字段来标识

3.2Cookie获取

3.2.1Cookie的作用：

Cookie是一种用于在Web应用程序中保存敏感信息，例如登录信息、个人身份验证码等，以便在用户与Web应用程序之间提供一个安全的通信通道。

Cookie的作用如下：

  1. 存储会话信息：Cookie允许您在不同的Web浏览器之间共享会话状态，这样您就可以在多个浏览器之间保持一致的用户体验。
  2. 提供安全性：Cookie只能在已经登录的用户之间传输，这样就可以防止未经授权的用户访问敏感信息。
  3. 加快网站的响应速度：由于Cookie只存储一次会话信息，因此可以减少网站的响应时间，提高用户的访问体验。
  4. 改进移动设备浏览体验：Cookie在移动设备上也能很好地工作，因为它们不会像浏览器那样被缓存。
  5. 支持跨域请求：Cookie可以允许来自不同域名的浏览器访问您的网站，这样就可以轻松地实现跨域资源共享。

需要注意的是，Cookie的使用也存在一些安全风险，如跨站脚本攻击（XSS）和中间人攻击等，因此应该采取一些措施来保护Web应用程序和用户的安全。

3.2.2获取Cookie：

当我们打开一个网页的时候---摁F12打开开发者模式----接着找到右边的cookie即可 

找到cookie以后将他加入到我们访问的头部即可，以字典的形式添加

例如：

 在访问请求时加入即可

3.3 Session维持

简介：

Session（会话）是一种在Web应用程序中用于管理用户身份验证和数据共享的机制。在Web应用程序中，每个用户都有一个唯一的会话ID，用于标识他们在Web应用程序中的身份。会话是用户与Web应用程序之间的关键部分，它允许用户在应用程序中进行相互操作，例如创建、更改和删除表单数据、上传文件和浏览历史记录等。

在传统的Web应用程序中，会话通常由服务器端的脚本语言（如PHP、Python和Ruby）或服务器端的框架（如Apache和Nginx）来管理。这些脚本或框架会在每次用户请求时生成一个新的会话ID，并将其存储在服务器端的数据库中。每次用户请求的响应都会包含一个包含新会话ID的响应头，以便服务器可以识别当前会话的状态。

在现代的Web应用程序中，会话管理已经变得更加容易和自动化。许多Web服务器和框架都提供了内置的会话管理功能，例如Nginx的session模块和PHP的session函数。这些功能可以自动处理会话的创建、存储、刷新和销毁等操作，并确保会话的安全性和可靠性。

为了维护会话，Web应用程序通常会在用户请求的处理过程中跟踪当前会话的状态，并在用户会话结束时将其状态刷新为“不活动”状态。这可以通过在服务器端存储会话ID并在每次请求的响应头中包含一个过期时间来实现。当用户会话过期时，服务器会将其状态刷新为“不活动”状态，并从数据库中删除相关数据。这可以通过定期重置会话ID和清理无用数据来确保会话的高可用性和安全性。

request如何实现呢？

例如：

import requests as rq

# 首先加入Session会话保持
s = rq.Session()
# 在访问请求的时候加入往里面传入的cookies # “/number/123”这就是我们加入的cookies
url = "https://www.httpbin.org/cookies/set/number/123"
request = s.get(url)
print(request.text)

输出结果：

         所以，利用Session可以做到模拟同一个会话而不用担心cookie的问题，它通常在模拟登录成功之后，进行下一次操作的时会用到。

3.4 SLL证书验证

        当我们访问一个网页的时候会出现，如图的问题，那么我门通过代码的方式绕开ssl认证，直接访问网页内容：

例如：

我们访问该网页  https://ssr2.scrape.center/

SLL证书提示：“连接不是私密连接”

我们通过get请求直接访问会出现以下问题：

requests.exceptions.SSLError: HTTPSConnectionPool(host='ssr2.scrape.center', port=443): Max retries exceeded with url: / (Caused by SSLError(SSLCertVerificationError(1, '[SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: self signed certificate (_ssl.c:997)')))

通过以下方式绕开：

# 在请求网页的时候将verify参数设置为False 表示忽略ssl证书验证

import requests as rq

url = "https://ssr2.scrape.center/"
# 在请求网页的时候将verify参数设置为False 表示忽略ssl证书验证
request = rq.get(url,verify=False)
print(request.text)

这样访问网页会提示我们url的证书时无效的，不过页面内容以及反馈给我们了：

 消除以上提示的方法如下：

看这个博客即可，上面也有类似的问题，所以这个地方是给直接跳到这部分的小伙伴看的哈~

(42条消息) requests.exceptions.SSLError 请求异常，SSL错误，证书认证失败问题解决_Xin学数据的博客-CSDN博客

 3.5 超时设置

        当我们访问一个页面的时候为了提升效率设置一个超时时间，如果规定时间内没有及时反馈信息，那么我们就让它异常报错即可，我们在请求中加入timeout参数即可

请求分为两个阶段：连接(connect)和读取(read)

以下是timeout的几种写法：

import requests as rq

url = "https://www.baidu.com/"
# 超过0.1秒没有反馈，就抛出异常
request = rq.get(url, timeout=0.1)
# 如果分别指定作用连接和读取的timeout 可以传入一个元组的方式
request = rq.get(url, timeout=(5, 30))
# 如果想永久等待 直接等于None,或者直接不加
request = rq.get(url, timeout=None)
request = rq.get(url)

3.6 身份认证

当我们遇到以下页面的时候，需要输入账户密码：

https://ssr3.scrape.center/

这个网站就是启用了基本身份认证

我门想得到该网页的信息用代码登录的方法如下：

可以通过requests库自带的身份验证功能auth参数

import requests as rq
from requests.auth import HTTPBasicAuth
import urllib3

# 关闭安全警告
urllib3.disable_warnings()

url = "https://ssr3.scrape.center"
request = rq.get(url, auth=HTTPBasicAuth('admin', 'admin'), verify=False)
print(request.status_code)  # 返回该网页请求的状态码
print(request.text)  # 将网页内容以text格式返回

 运行结果：

 3.7 代理设置

        在我们访问网站在测试的时候，请求几次都可得到返回的内容，但开始大规模爬取，频繁请求的时候，这些网页会跳出验证码或者其他认证网页，也可能直接对你的IP进行封禁，导致一定时间无法访问，那么为了防止这种情况，我们需要代理设置来解决问题，这时候需要用到proxies参数。当然还有一种方式那就是挂vpn。这里并不就不尝试了，就来说说proxies参数

使用 requests 库发送请求时，可以通过设置 proxies 参数来使用代理服务器。proxies 参数是一个字典，包含 http 和 https 两个键，分别对应 http 和 https 请求的代理地址。

import requests as rq

proxies = {
    "http:": "http://1.234.178.32:24200",
    "https:": "http://1.234.178.32:24200"
}

# 网页
url = "http://httpbin.org/ip"
# proxies 代理参数
request = rq.get(url, proxies=proxies)
print(request.status_code) # 网页请求返回值，200为正常
print(request.text.encode("utf-8")) # 将网页内容以text格式返回，字符级为utf8

        在上述代码中，我们首先定义了一个proxies字典，其中包含http和https两个键，分别对应代理服务器的地址。然后，在发送http请求时，我们将proxies参数设置为proxies字典，requests库会自动使用代理服务器发送请求。最后，我们打印出响应内容。

注意，在设置代理服务器地址时，必须包含连接方式（http或https）。同时，需要根据实际需要选择代理服务器的地址和端口号。

运行结果：

该ip是你的本机ip地址，如果网页有反代理技术，那么可以使用vpn的方式破解

还有一种代理方式SOCKS：

        SOCKS代理是一种计算机代理服务器，它能够为用户提供更高级别的网络连接和数据传输服务。SOCKS代理是一种全能代理，支持多种网络协议和数据传输方式，包括HTTP、FTP、SSH等。它可以将一端的系统连接到另外一端，提供更高效、更安全的数据传输服务。SOCKS代理标准端口为1080。

        这里不进行演示了~自行研究吧~

#注意：这里有代理，那么就有反向代理

        反向代理（Reverse Proxy）是一种代理服务器技术，它主要用于将来自客户端的请求转发到后端服务器。反向代理服务器位于后端服务器的前端，它接收来自客户端的请求，并将其转发到后端服务器。后端服务器处理完请求后，将结果返回给反向代理服务器，反向代理服务器再将结果返回给客户端。

        反向代理的主要功能包括缓存、负载均衡和安全性。它可以缓存静态内容，减少对后端服务器的请求，提高网站的性能和可靠性。同时，反向代理还可以作为负载平衡器，将请求路由到多个后端服务器，提高网站的并发能力和可用性。此外，反向代理还可以隔离客户端和后端服务器，提高网站的安全性。

        反向代理可以通过两种方式实现：一种是多个网站的web服务器提供代理，其域名都指向反向代理服务器；另一种是为网站的web服务器集群提供代理，反向代理作为负载平衡器来决定哪个Web服务器接收请求。

        总之，反向代理是一种重要的代理服务器技术，它可以提供缓存、负载均衡和安全性等功能，提高网站的性能、可靠性和安全性。

反向代理的技术让我们电脑端的ip一样会出现在网页中：

本次内容大概这么多，感谢观看~

i鲸落i
关注
  • 15
    点赞
  • 踩
  • 99
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
Python——requests模块详解
m0_72557783的博客
12-06 7721
在python内置模块的基础上进行了高度的封装，从而使得python进行网络请求时，变得人性化，使用Requests可以轻而易举的完成浏览器可有的任何操作。
python爬虫之——request基础
小西瓜的博客
04-21 2278
python爬虫之——requestrequest库一、request库的安装二、 request库的七个主要方法1. requests.request（）:构造一个方法【其他六个方法的实现都是通过调用该方法实现的】2.requests.get():获取HTML网页的主要方法（对应于HTTP的GET）【常用MAX】3.requests.head():获取HTML网页的头信息的方法（对应于HTTP的...
Python中requests库使用方法详解
zero2100的专栏
10-14 511
Windows10专业版开发软件：Pycharm Community 2022.3Requests 是⽤Python语⾔编写，基于urllib，采⽤Apache2 Licensed开源协议的 HTTP 库。它⽐ urllib 更加⽅便，可以节约我们⼤量的⼯作，完全满⾜HTTP测试需求。
最新网络爬虫之Requests库入门
最新发布
2401_84561420的博客
05-03 858
不知道你们用的什么环境，我一般都是用的Python3.6环境和pycharm解释器，没有软件，或者没有资料，没人解答问题，都可以免费领取（包括今天的代码），过几天我还会做个视频教程出来，有需要也可以领取~给大家准备的学习资料包括但不限于：Python 环境、pycharm编辑器/永久激活/翻译插件python 零基础视频教程Python 界面开发实战教程Python 爬虫实战教程Python 数据分析实战教程python 游戏开发实战教程Python 电子书100本。
全网最全！Python爬虫requests库教程(附案例)
热门推荐
程序员小麦的博客
07-08 1万+
Requests 是一个为人类设计的简单而优雅的 HTTP 库。requests 库是一个原生的 HTTP 库，比 urllib3 库更为容易使用。requests 库发送原生的 HTTP 1.1 请求，无需手动为 URL 添加查询串， 也不需要对 POST 数据进行表单编码。相对于 urllib3 库， requests 库拥有完全自动化 Keep-alive 和 HTTP 连接池的功能。requests 库包含的特性如下。
Python 数据获取（一）—— request模块、变量使用与传参方式
Hehuyi_In的博客
06-11 1万+
服务端渲染：在页面源代码中能看到数据，直接、简单，但数据通常没什么格式，需要想办法匹配。客户端渲染：在页面源代码不能看到数据，需要第二次请求，但是它的数据通常是json或者固定格式的，处理方便。所以本质上，两种渲染方式对爬取各有优劣 这个headers指的是html的头信息（绿框），这部分信息是给浏览器看的。人看的是body部分（蓝框）。打开一个网页，例如豆瓣电影 https://movie.douban.com/top250按 F12抓包，刷新一下页面，这个headers部分就是了。
Python模块介绍-requests
遛遛马，务务农
06-12 2852
requests模块介绍
Python学习 - Request库
JUN_7777的博客
07-21 213
requests 第三方库
Python之Requests库使用总结
2301_77645750的博客
12-12 1446
作为一位过来人也是希望大家少走一些弯路，如果你不想再体验一次学习时找不到资料，没人解答问题，坚持几天便放弃的感受的话，在这里我给大家分享一些自动化测试的学习资源，希望能给你前进的路上带来帮助。
Python中requests库的用法详解
feng的博客
07-19 3528
requests是使用Apache2 licensed 许可证的HTTP库。比urllib模块更简洁。Request支持HTTP连接保持和连接池，支持使用cookie保持会话，支持文件上传，支持自动响应内容的编码，支持国际化的URL和POST数据自动编码。在python内置模块的基础上进行了高度的封装，从而使得python进行网络请求时，变得人性化，使用Requests可以轻而易举的完成浏览器可有的任何操作。
requests爬虫
weixin_42567027的博客
05-22 2157
在当前网页中打开抓包工具，捕获到地址栏的url对应的数据包，在该数据包的response选项卡搜索想要爬取的数据，如果搜索到了结果则表示数据不是动态加载的，否则表示数据为动态加载的。1、概念：有些数据是通过非浏览器地址栏中的url请求到的数据，而是其他请求请求到的数据，那么这些通过其他请求请求到的数据就是动态加载的数据。定位到动态加载数据对应的数据包，从该数据包中就可以提取出（1）请求的url；3、捕捉动态加载的数据（最重要的就是知道动态数据是怎么加载进去的，地址是多少，然后使用拼接得到网页完整地址）
Python requests模块
晴天的博客
02-16 2547
Python requests模块
爬虫基础01—初识爬虫（request）
m0_55196097的博客
01-15 1768
1. 网络爬虫简述 能够爬数据，获取网页数据，数据采集 一．爬虫分类： 通用网络爬虫（url集合，url队列，页面爬行模块，页面分析模块，页面数据库，链接过滤模块） 聚焦网络爬虫（有目的的爬，例如爬取租房信息） 增量式网络爬虫(只更新改变的数据，不更新没改变的数据，可以减少下载量与网络资源开销，增加了爬虫算法的难度) 深层网络爬虫（爬行控制器，解析器，表单分析器，表单处理器，） 响应分析器，lvs控制器（label value set是标签和数值的集合，用来表示填充表单的数据源） ..
Python-request库用法
caicaptain
06-02 2214
一、HTTP详解 二、Request主要方法 1、基本方法简介 总共有七个方法，这七个方法最后都是使用requests.request()实现。 2、Request返回 r.encoding是从头部获取的内容编码方式（r.text的编码） r.apparent_encoding 是根据内容分析出来的，两个都是为了表示内容编码方式（这个可能比较准确） 3、Request异常 4、基本方法的十三个参数 request.request(method, url, **kwargs)
网络爬虫-Requests库入门
Python_1981的博客
10-29 149
所以，一般用encoding不能正确解析中文页面内容时，用apparent_encoding的值替换encoding。Requests库的get()方法源代码：get方法实际上使用request方法来封装, 也就是说，除了request方法是基础方法，其他6个方法都是通过调用request方法实现的，即实际上只有一个方法。Response 对象包含服务器返回的所有信息，还包含了向服务器请求的request信息。三、Requests库的get()方法：获得一个网页。四、Requests库的2个主要对象。
python-网络爬虫.Request
dgw2648633809的博客
07-31 1175
print(response.content) #以字节流形式打印 返回的类型是bytes print(response.apparent_encoding) #网站的编码格式。{'date': '18日（明天）' , 'weather': '多云转晴' , 'temperature_max': '24' , 'temperature_min': '10℃' , 'air_speed': '3-4级'}对应HTTP中的PATCH方法。
Python之Requests库的使用
积跬步，至千里。
07-14 383
Requests是一个功能强大的Python HTTP库，用于发送HTTP请求，获取响应数据。它简化了与HTTP资源的交互，提供了简洁且易于使用的API。
Python requests模块 快速入门 这篇就够了
制定持续可量化的目标，不断坚持。
02-12 971
Requests是一个流行的Python第三方库，它专为HTTP通信而设计，旨在使网络请求更加简单和人性化。
python爬虫——request模块讲解，2024年最新888道Python高级面试题
m0_60707708的博客
04-18 503
get。
python爬虫request库
05-13
Python中的requests库是用于发送HTTP请求的一个库，可以使用它来获取网页内容、提交表单、登录网站等。 以下是一个使用requests库发送GET请求的示例代码： ```python import requests url = 'http://www.example.com' response = requests.get(url) print(response.text) ``` 以上代码中，我们首先导入了requests库，然后定义了一个url变量，它存储了我们要访问的网址。然后我们使用requests库的get()方法来发送GET请求，并将响应结果存储在response变量中。最后，我们打印了响应结果中的网页内容。 如果我们需要发送POST请求，则可以使用requests库的post()方法，示例代码如下： ```python import requests url = 'http://www.example.com/login' data = {'username': 'your_username', 'password': 'your_password'} response = requests.post(url, data=data) print(response.text) ``` 以上代码中，我们首先定义了一个url变量，它存储了我们要访问的登录页面的网址。然后我们定义了一个data变量，它存储了我们要提交的表单数据。最后，我们使用requests库的post()方法来发送POST请求，并将响应结果存储在response变量中。最后，我们打印了响应结果中的网页内容。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

i鲸落i

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值