Python爬虫：Requests模块

最新推荐文章于 2024-07-31 14:30:10 发布
最新推荐文章于 2024-07-31 14:30:10 发布
阅读量3k 收藏 20
点赞数 7
分类专栏： Python-爬虫 文章标签： python 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mengnf/article/details/122710151
版权

目录

一、requests模块介绍

二、response响应对象

三、 requests模块发送请求

四、requests模块发送post请求

五、利用requests.session进行状态保持

一、requests模块介绍

requests文档：Requests: 让 HTTP 服务人类 — Requests 2.18.1 文档

作用：

发送http请求，获取响应数据

安装

requests模块是一个第三方模块，需要在python环境中额外安装

  • pip/pip3 install requests

发送get请求

代码示例 
# 导入模块
import requests
​
# 目标url
url = 'https://www.baidu.com'
​
# 向目标url发送get请求
response = requests.get(url)
​
# 打印响应内容
print(response.text)

二、response响应对象

观察上边代码运行结果发现，有好多乱码，这是因为编解码使用的字符集不同早造成的，可以尝试使用下边的办法来解决中文乱码问题：

# 导入模块
import requests

# 目标url
url = 'https://www.baidu.com'

# 向目标url发送get请求
response = requests.get(url)

# 打印响应内容
# print(response.text)
print(response.content.decode())  # 注意这里！
  1. response.text是requests模块按照chardet模块推测出的编码字符集进行解码的结果
  2. 网络传输的字符串都是bytes类型的，所以response.text = response.content.decode('推测出的编码字符集')
  3. 我们可以在网页源码中搜索charset，尝试参考该编码字符集，注意存在不准确的情况

2.1 response.text 和 response.content 的区别：

response.text

类型：str

解码类型： requests模块自动根据HTTP 头部对响应的编码作出有根据的推测，推测的文本编码

response.content

类型：bytes

解码类型： 没有指定

2.2 通过对response.content进行decode，来解决中文乱码

  • response.content.decode() # 默认utf-8

  • response.content.decode('GBK')

常见的编码字符集

  • utf-8

  • gbk

  • gb2312

  • ascii（阿斯克码）

  • iso-8859-1

2.3 其它常用属性或方法

response = requests.get(url)中response是发送请求获取的响应对象；

response响应对象中除了text、content获取响应内容以外还有其它常用的属性或方法： 

  • response.url响应的url；有时候响应的url和请求的url并不一致

  • response.status_code 响应状态码

  • response.request.headers 响应对应的请求头

  • response.headers 响应头

  • response.request._cookies 响应对应请求的cookie；返回cookieJar类型

  • response.cookies 响应的cookie（经过了set-cookie动作；返回cookieJar类型

  • response.json()自动将json字符串类型的响应内容转换为python对象（dict or list）

# 导入模块
import requests

# 目标url
url = 'https://www.baidu.com'

# 向目标url发送get请求
response = requests.get(url)

# 打印响应内容
# print(response.text)
# print(response.content.decode())  # 注意这里！
print(response.url)  # 打印响应的url
print(response.status_code)  # 打印响应的状态码
print(response.request.headers)  # 打印响应对象的请求头
print(response.headers)  # 打印响应头
print(response.request._cookies)  # 打印请求携带的cookies
print(response.cookies)  # 打印响应中携带的cookies

三、 requests模块发送请求

3.1 发送带 header 的请求

我们先写一个获取百度首页的代码

import requests

url = 'https://www.baidu.com'

response = requests.get(url)

print(response.content.decode())

# 打印响应对应请求的请求头信息
print(response.request.headers)

不过，对比浏览器上百度首页的网页源码（F12）和代码中的百度首页的源码，发现代码中的百度首页的源码非常少，所以需要我们带上请求头信息，请求头中有很多字段，其中User-Agent字段必不可少，表示客户端的操作系统以及浏览器的信息。

携带请求头发送请求的方法

requests.get(url, headers=headers)

  • headers参数接收字典形式的请求头

  • 请求头字段名作为key，字段对应的值作为value

从浏览器中复制User-Agent，构造headers字典

import requests

url = 'https://www.baidu.com'

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"
}

# 在请求头中带上User-Agent，模拟浏览器发送请求
response = requests.get(url, headers=headers)

print(response.content)

# 打印请求头信息
print(response.request.headers)

3.2 发送带参数的请求

使用百度搜索时url地址中会有一个 ?，此问号后边就是请求参数，又叫查询字符串

url携带参数

import requests

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"
}

url = 'https://www.baidu.com/s?wd=詹姆斯'

response = requests.get(url, headers=headers)

通过构建参数字典

import requests

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.99 Safari/537.36"
}

# 目标url
# url = 'https://www.baidu.com/s?wd=詹姆斯'

# 这里最后有没有问号结果都一样
url = 'https://www.baidu.com/s?'

# 请求参数是一个字典 即wd=python
kw = {'wd': '詹姆斯'}

# 带上请求参数发起请求，获取响应
response = requests.get(url, headers=headers, params=kw)

print(response.content)

3.3 headers参数中携带 cookie 

网站经常利用请求头中的Cookie字段来做用户访问状态的保持，那么我们可以在headers参数中添加Cookie，模拟普通用户的请求。

  1. 访问gitee登陆的url地址 https://gitee.com/login

  2. 输入账号密码点击登陆后，访问一个需要登陆后才能获取正确内容的url，比如点击右上角的【个人中心】访问 https://gitee.com/mengnf

  3. 确定url之后，再确定发送该请求所需要的请求头信息中的User-Agent和Cookie

将值赋值出来：

# 构造请求头字典
headers = {
    # 从浏览器中复制过来的User-Agent
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.99 Safari/537.36',
    # 从浏览器中复制过来的Cookie
    'Cookie': '这里是复制过来的cookie字符串'
}

cookies参数的形式：字典

cookies = {"cookie的name":"cookie的value"}

  • 该字典对应请求头中Cookie字符串，以分号、空格分割每一对字典键值对

  • 等号左边的是一个cookie的name，对应cookies字典的key

  • 等号右边对应cookies字典的value

  1. cookies参数的使用方法

    response = requests.get(url, cookies)

  2. 将cookie字符串转换为cookies参数所需的字典：

    cookies_dict = {cookie.split('=')[0]:cookie.split('=')[-1] for cookie in cookies_str.split('; ')}

  3. 注意：cookie一般是有过期时间的，一旦过期需要重新获取

import requests

url = 'https://github.com/USER_NAME'

# 构造请求头字典
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.87 Safari/537.36'
}
# 构造cookies字典
cookies_str = '从浏览器中copy过来的cookies字符串'

cookies_dict = {cookie.split('=')[0]: cookie.split('=')[-1] for cookie in cookies_str.split('; ')}

# 请求头参数字典中携带cookie字符串
resp = requests.get(url, headers=headers, cookies=cookies_dict)

print(resp.text)

cookieJar对象转换为cookies字典的方法

使用requests获取的resposne对象，具有cookies属性。该属性值是一个cookieJar类型，包含了对方服务器设置在本地的cookie。

  1. 转换方法

    cookies_dict = requests.utils.dict_from_cookiejar(response.cookies)

  2. 其中response.cookies返回的就是cookieJar类型的对象

  3. requests.utils.dict_from_cookiejar函数返回cookies字典

3.4 超时参数timeout的使用

在爬虫中，一个请求很久没有结果，就会让整个项目的效率变得非常低，此时就需要对请求进行强制要求，让他必须在特定的时间内返回结果，否则就报错。

超时参数timeout

response = requests.get(url, timeout=3)

timeout=3表示：发送请求后，3秒钟内返回响应，否则就抛出异常

3.5 关于proxy代理

proxy代理参数通过指定代理ip，让代理ip对应的正向代理服务器转发我们发送的请求

 使用代理的过程

  1. 代理ip是一个ip，指向的是一个代理服务器

  2. 代理服务器能够帮我们向目标服务器转发请求

正向代理和反向代理的区别

  1. 从发送请求的一方的角度，来区分正向或反向代理

  2. 为浏览器或客户端（发送请求的一方）转发请求的，叫做正向代理

    ​​​​​​​浏览器知道最终处理请求的服务器的真实ip地址，例如VPN

  3. 不为浏览器或客户端（发送请求的一方）转发请求、而是为最终处理请求的服务器转发请求的，叫做反向代理
    浏览器不知道服务器的真实地址，例如nginx

代理ip（代理服务器）的分类

  1. 根据代理ip的匿名程度，代理IP可以分为下面三类：

    • 透明代理(Transparent Proxy)：透明代理虽然可以直接“隐藏”你的IP地址，但是还是可以查到你是谁。目标服务器接收到的请求头如下：

      REMOTE_ADDR = Proxy IP
      HTTP_VIA = Proxy IP
      HTTP_X_FORWARDED_FOR = Your IP

    • 匿名代理(Anonymous Proxy)：使用匿名代理，别人只能知道你用了代理，无法知道你是谁。目标服务器接收到的请求头如下：

      REMOTE_ADDR = proxy IP
      HTTP_VIA = proxy IP
      HTTP_X_FORWARDED_FOR = proxy IP

    • 高匿代理(Elite proxy或High Anonymity Proxy)：高匿代理让别人根本无法发现你是在用代理，所以是最好的选择。毫无疑问使用高匿代理效果最好。目标服务器接收到的请求头如下：

      REMOTE_ADDR = Proxy IP
      HTTP_VIA = not determined
      HTTP_X_FORWARDED_FOR = not determined

  2. 根据网站所使用的协议不同，需要使用相应协议的代理服务。从代理服务请求使用的协议可以分为：

    • http代理：目标url为http协议

    • https代理：目标url为https协议

    • socks隧道代理（例如socks5代理）等：

      1. socks 代理只是简单地传递数据包，不关心是何种应用协议（FTP、HTTP和HTTPS等）。

      2. socks 代理比http、https代理耗时少。

      3. socks 代理可以转发http和https的请求

proxies代理参数的使用

为了让服务器以为不是同一个客户端在请求；

为了防止频繁向一个域名发送请求被封ip，所以我们需要使用代理ip；

proxies的形式：字典

proxies = {
   "http": "http://12.34.56.79:9527",
   "https": "https://12.34.56.79:9527",
}

response = requests.get(url, proxies=proxies)

注意：如果proxies字典中包含有多个键值对，发送请求时将按照url地址的协议来选择使用相应的代理ip

3.6 使用verify参数忽略CA证书

在使用浏览器上网的时候，有时看到这样的提示

 

为了在代码中能够正常的请求，使用verify=False参数，此时requests模块发送请求将不做CA证书的验证：verify参数能够忽略CA证书的认证

response = requests.get(url,verify=False)

四、requests模块发送post请求

  1. 登录注册（ 在web工程师看来POST 比 GET 更安全，url地址中不会暴露用户的账号密码等信息）

  2. 需要传输大文本内容的时候（ POST 请求对数据长度没有要求）

requests发送post请求的方法

  • response = requests.post(url, data)

  • data参数接收一个字典

  • requests模块发送post请求函数的其它参数和发送get请求的参数完全一致

五、利用requests.session进行状态保持

requests模块中的Session类能够自动处理发送请求获取响应过程中产生的cookie，进而达到状态保持的目的。

作用及场景

  • 自动处理cookie，即 下一次请求会带上前一次的cookie

  • 自动处理连续的多次请求过程中产生的cookie

session = requests.session()  # 实例化session对象
response = session.get(url, headers, ...)
response = session.post(url, data, ...)
import requests
import re
​
​
# 构造请求头字典
headers = {
   'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.87 Safari/537.36',
}
​
# 实例化session对象
session = requests.session()
​
# 访问登陆页获取登陆请求所需参数
response = session.get('https://github.com/login', headers=headers)
authenticity_token = re.search('name="authenticity_token" value="(.*?)" />', response.text).group(1) # 使用正则获取登陆请求所需参数
​
# 构造登陆请求参数字典
data = {
   'commit': 'Sign in', # 固定值
   'utf8': '✓', # 固定值
   'authenticity_token': authenticity_token, # 该参数在登陆页的响应内容中
   'login': input('输入github账号：'),
   'password': input('输入github账号：')
}
​
# 发送登陆请求（无需关注本次请求的响应）
session.post('https://github.com/session', headers=headers, data=data)
​
# 打印需要登陆后才能访问的页面
response = session.get('https://github.com/1596930226', headers=headers)
print(response.text)
蒙小骏
关注
  • 7
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python爬虫：requests模块介绍
Hello大家好，我是Dream，如果帮得到你，那我深感荣幸！交流学习、商务合作：https://bbs.csdn.net/topics/614347534
07-16 3949
response.cookies是CookieJar类型使用requests.utils.dict_from_cookiejar，能够实现把cookiejar对象转化为字典。
Python爬虫：requests模块的基本使用
Hello大家好，我是Dream，如果帮得到你，那我深感荣幸！交流学习、商务合作：https://bbs.csdn.net/topics/614347534
07-17 3758
在url地址中， 很多参数是没有用的，比如百度搜索的url地址，其中参数只有一个字段有用，其他的都可以删除。对应的,在后续的爬虫中，越到很多参数的url地址，都可以尝试删除参数。需求：通过requests向百度首页发送请求，获取百度首页的数据。以上三种方法从前往后尝试，能够100%的解决所有网页解码的问题。我们在使用百度搜索的时候经常发现url地址中会有一个。模拟浏览器，欺骗服务器，获取和浏览器一致的内容。我们先写一个获取百度首页的代码。的方式获取响应的html页面。，那么该问号后边的就是。
Python爬虫常用模块，比较实用！
Python_Alex的博客
06-21 1094
对于一些简单的爬虫，python（基于python3）有更好的第三方库来实现它，且容易上手。Python标准库–logging模块logging模块能够代替print函数的功能，将标准输出到日志文件保存起来，利用loggin模块可以部分替代debugre模块正则表达式sys模块系统相关模块sys.argv(返回一个列表，包含所有的命令行)sys.exit(退出程序)Python标准库–urllib模块。
Python爬虫01：requests模块基础
JarryWangJY的博客
04-30 1226
Python爬虫requests模块
Python爬虫：requests模块-案例练习
weixin_45542045的博客
12-18 1267
使用步骤 导包 import requests 确定基础URL base_url = 'https://www.baidu.com' 发送请求，获取响应 response = requests.get(base_url) **处理响应内容 get请求参数，方法 参数 requests.get( url = 请求url headers = 请求头字典 para...
python爬虫-requests模块
m0_62630794的博客
01-24 628
​requests 模块简单高效，常用于爬虫。Python 内置了 requests 模块，该模块主要用来发送 HTTP 请求，每次调用 requests 请求之后，会返回一个 response 对象，该对象包含了具体的响应信息。
python爬虫教程：requests模块用法
Python编程学习的博客
06-18 2485
可以使用 headers 参数来设置请求头信息。
Python爬虫：requests和bs4
m0_57864180的博客
03-19 2442
requests和bs4 requests的用法 requests是Python用于网络(http)请求的第三库，也是爬虫获取网络数据的重要工具，使用的时候需要导入 import requests 1. 向目标地址(网络地址)发送请求 语法: requests.get(url,*,headers, proxies, timeout) - 以指定的方式给地址发送网络请求，返回值是服务器返回的响应对象 参数说明: url - 字符串；请求的网络地址，可能是目标网站的网址也可能是数据接口
Python爬虫：数据获取requests
悦上心灵的博客
01-29 1560
爬虫开启
Python爬虫之requests模块
yiluohan0307的专栏
06-13 1750
Python爬虫之requests模块
python爬虫 基于requests模块的get请求实现详解
09-18
本文将深入讲解基于requests模块的GET请求在Python爬虫中的实现。 首先，requests是一个强大的Python库，用于发送HTTP/1.1请求。在Python爬虫中，最常用的操作就是发起GET请求来获取网页内容。以下是一个简单的例子...
解析Python网络爬虫：核心技术、Scrapy框架、分布式爬虫全套教学资料
10-25
本套教学资料深入解析了Python爬虫的核心技术、Scrapy框架以及分布式爬虫的实现，旨在帮助学习者掌握这一领域的核心技能。 一、Python爬虫核心技术 Python语言因其简洁明了的语法和丰富的第三方库而成为网络爬虫...
python爬虫 基于requests模块发起ajax的get请求实现解析
09-18
主要介绍了python爬虫 基于requests模块发起ajax的get请求实现解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
python 爬虫请求模块requests详解
12-16
安装requests模块： Windows系统： cmd中： pip install requests mac系统中： 终端中： pip3 install requests requests库的基本使用 import requests url = 'https://www.csdn.net/' reponse = requests.get...
python爬虫教程：基于requests模块的get请求实现详解
01-20
这篇文章主要介绍了python爬虫 基于requests模块的get请求实现详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下 需求：爬取搜狗首页的页面数据 import ...
Selenium与WebDriver：Errno 8 Exec格式错误的多种解决方案
ip16yun的博客
07-30 386
在使用Selenium和WebDriver进行网页自动化时，可能会遇到各种错误。其中一个常见问题是执行格式错误（Errno 8 Exec format error）。这个错误通常在运行ChromeDriver时出现，错误提示涉及路径中的某个文件。本文将概述这个问题的背景，并提供多种解决方案，包括如何使用代理IP技术进行数据抓取。
python字符串数据容器练习（replace,split,count）
最新发布
2301_79600015的博客
07-31 469
Python字符串是由一系列字符组成的数据类型。在Python中，字符串是不可变的，这意味着一旦创建了一个字符串，就不能修改它的内容。以下是关于Python字符串的一些重要知识点：1. 字符串的基本操作：拼接字符串：使用`+`运算符。重复字符串：使用`*`运算符。索引和切片：使用`[]`和`:`操作符访问字符串中的子串。长度：使用`len()`函数获取字符串长度。转换大小写：使用`upper()`和`lower()`方法。分割和连接：使用`split()`和`join()`方法。
loguru日志模块：简化Python自动化测试的日志管理！
07-29 855
日志是软件开发中的关键组成部分，为开发和测试人员提供了调试和监控应用程序的重要手段。loguru 是一个第三方的 Python 日志库，以其简洁的 API 和自动化的功能脱颖而出。本文将探讨为什么项目中需要日志，loguru 为何受到青睐，以及如何封装和在接口自动化测试项目中使用 loguru，同时结合 Allure 生成丰富的测试报告。
Python爬虫入门指南：requests库实战教程
这份文档涵盖了Python网络爬虫的各个方面，从基础库的使用到高级框架的应用，不仅有理论知识，还有实战演练，对于提升Python爬虫技能具有很高的实用价值。无论是对于个人学习还是团队协作，都能提供有效的指导和支持...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值