requests模块02

最新推荐文章于 2024-07-24 23:49:50 发布
最新推荐文章于 2024-07-24 23:49:50 发布
阅读量152 收藏
点赞数
分类专栏： 爬虫 文章标签： python cookie
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Ronin__L/article/details/115654925
版权

requests模块02

文章目录

一、发送带请求头的请求

1、查看网页源码的方法:

■右键-查看网页源代码
或
■右键-检查

2、查看对应urI的响应内容的方法:

i.右键-检查
i.点击Net work
ii.勾选Preserve log
iv,刷新页面
v.查看Name一栏下和浏览器地址栏相同的url的Response

3、携带请求头发送请求的方法

requests . get(url, headers =headers )
●headers参 数接收字典形式的请求头
●请求头字段名作为key,字段对应的值作为value

示例如下：

import requests

url =' http://www.baidu.com'
response = requests.get(url)
print(len(response.content.decode()))
print(response.content.decode())
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36'
}
response1 = requests.get(url,headers=headers)
print(len(response1.content.decode()))
print(response1.content.decode())

在这里插入图片描述

二、发送带参数的请求

1、查询字符串

我们在使用百度搜索的时候经常发现url地址中会有一个?，那么该问号后边的就是请求参数，又叫做
查询字符串

2、在url携带参数

直接对含有参数的url发起请求

示例如下：

import requests
url = 'https://www.baidu.com/s?&wd=python'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36'
}
response=requests.get(url,headers=headers)
with open('baidu.html','wb')as f:
    f.write(response.content)

在这里插入图片描述

3、通过params携带参数字典

1.构建请求参数字典
2.向接口发送请求的时候带上参数字典，参数字典设置给params

import requests
url = 'https://www.baidu.com/s?'
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36'
}
data ={'wd':'python'}
response=requests.get(url,headers=headers,params=data)
print(response.url)
with open('baidu1.html','wb')as f:
    f.write(response.content)

三、在headers参数中携带cookie

网站经常利用请求头中的Cookie字段来做用户访问状态的保持，那么我们可以在headers参数中添加
Cookie， 模拟普通用户的请求。

1、github登陆抓包分析

1.打开浏览器，右键-检查,点击Net work,勾选Preserve log
2.访问github登陆的url地址https://github.com/login
3.输入账号密码点击登陆后，访问一个需要登陆后才能获取正确内容的url，比如点击右.上角的Your profile
访问https : //github. com/USER_ NAME
4.确定url之后，再确定发送该请求所需要的请求头信息中的User-Agent和Cookie

2、完成代码

●从浏览器中复制User-Agent和Cookie
●浏览器中的请求头字段和值与headers参数中必须一 致
●headers请求参数字典中的Cookie键对应的值是字符串
示例如下：

import requests
url = 'https://github.com/RoninLJY'
headers={
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36',
    'cookie': '_device_id=98c7e8f7c9fe00d90b09c0a7d1226664; _octo=GH1.1.1732856261.1618282978; has_recent_activity=1; tz=Asia%2FShanghai; user_session=RA_-59LYZnyts3zfK3Wnv98OZivABOMFII0PukUgGObTgdx6; __Host-user_session_same_site=RA_-59LYZnyts3zfK3Wnv98OZivABOMFII0PukUgGObTgdx6; tz=Asia%2FShanghai; color_mode=%7B%22color_mode%22%3A%22light%22%2C%22light_theme%22%3A%7B%22name%22%3A%22light%22%2C%22color_mode%22%3A%22light%22%7D%2C%22dark_theme%22%3A%7B%22name%22%3A%22dark%22%2C%22color_mode%22%3A%22dark%22%7D%7D; logged_in=yes; dotcom_user=RoninLJY; _gh_sess=UUxPqI8qELe%2B2iiSRIaSRwGavfapI2bARcRJrdwtxAoPv14WJN6G0yXyieyfMxsdqVRvtCCuVSn5%2B8j7q4oIxZkLTFbd9sA%2FgHwakfXT1Xpiyup4ngs8Psrqik1Li8mQaf8M1QiA5F0Xzbk6JGsaPCpCE7p5rNEW66bSY3H%2FhN62Fomf2puv7X7Bio1Xq5c%2BKaznCE%2FEMnkTXXQ1S4tXTCOL1NaqRFbQaT54Aqrf3pPiAB6X4ZhHqh%2Fg2bpvXIvxFCiP376ZviVVyIfxNUOqBqdEn4H6gBxkUo1zHKPGxX2LPVe6wBLhcvX8%2FAPimzGgi7PDuTLQ6yvsXbTF8FPfcRNx%2BKjxUWssZnMhxt5%2Fa8oOJEm3GzGW%2FwA7JRxa2Qp%2FiNGpER2PvdNULE%2FK22OF2yt8X7mk5cm2enkP8NCjk889vuRDUi2yf2IQBvfN1bz998FqCGGOpB86J00aFs%2Fb7iulZgjxlabQvaIWLrKSVlKmYbluYTCXcmNMZHVfUGxMtB%2F%2F2xxMClosyg0zDDp7WQ4vQKU%3D--edOm0scRhG8CSIdS--yf1HCbGPJtJ5dDP%2BoGDBEA%3D%3D'
}
response =requests.get(url,headers=headers)
with open("github_with_cookies_.html","wb")as f:
    f.write(response.content)

在这里插入图片描述

3、cookies参数的使用

3.1 cookies参数的形式:字典

cookies = {“cookie的name” :“cookie的value”}
。该字典对应请求头中Cookie字符串，以分号、空格分割每-对字典键值对
。等号左边的是一个cookie的name,对应cookies字 典的key
。等号右边对应cookies字典的value

3.2 cookies参数的使用方法

response=requests. get(url, cookies)

示例如下：

import requests
url = 'https://github.com/RoninLJY'
headers={
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36'
   }
temp='_device_id=98c7e8f7c9fe00d90b09c0a7d1226664; _octo=GH1.1.1732856261.1618282978; has_recent_activity=1; tz=Asia%2FShanghai; user_session=RA_-59LYZnyts3zfK3Wnv98OZivABOMFII0PukUgGObTgdx6; __Host-user_session_same_site=RA_-59LYZnyts3zfK3Wnv98OZivABOMFII0PukUgGObTgdx6; tz=Asia%2FShanghai; color_mode=%7B%22color_mode%22%3A%22light%22%2C%22light_theme%22%3A%7B%22name%22%3A%22light%22%2C%22color_mode%22%3A%22light%22%7D%2C%22dark_theme%22%3A%7B%22name%22%3A%22dark%22%2C%22color_mode%22%3A%22dark%22%7D%7D; logged_in=yes; dotcom_user=RoninLJY; _gh_sess=UUxPqI8qELe%2B2iiSRIaSRwGavfapI2bARcRJrdwtxAoPv14WJN6G0yXyieyfMxsdqVRvtCCuVSn5%2B8j7q4oIxZkLTFbd9sA%2FgHwakfXT1Xpiyup4ngs8Psrqik1Li8mQaf8M1QiA5F0Xzbk6JGsaPCpCE7p5rNEW66bSY3H%2FhN62Fomf2puv7X7Bio1Xq5c%2BKaznCE%2FEMnkTXXQ1S4tXTCOL1NaqRFbQaT54Aqrf3pPiAB6X4ZhHqh%2Fg2bpvXIvxFCiP376ZviVVyIfxNUOqBqdEn4H6gBxkUo1zHKPGxX2LPVe6wBLhcvX8%2FAPimzGgi7PDuTLQ6yvsXbTF8FPfcRNx%2BKjxUWssZnMhxt5%2Fa8oOJEm3GzGW%2FwA7JRxa2Qp%2FiNGpER2PvdNULE%2FK22OF2yt8X7mk5cm2enkP8NCjk889vuRDUi2yf2IQBvfN1bz998FqCGGOpB86J00aFs%2Fb7iulZgjxlabQvaIWLrKSVlKmYbluYTCXcmNMZHVfUGxMtB%2F%2F2xxMClosyg0zDDp7WQ4vQKU%3D--edOm0scRhG8CSIdS--yf1HCbGPJtJ5dDP%2BoGDBEA%3D%3D'
cookie_list =temp.split('; ')
cookies = {}
for cookie in cookie_list:
    cookies[cookie.split('=')[0]]=cookie.split('=')[-1]
    print(cookies)

在这里插入图片描述

3.3 将cookie字符串转换为cookies参数所需的字典:

cookies_ dict - {cookie.split(’-’)[@]:cookie.split(’=’)[-1] for cookie in cookies.
')}

示例如下：

import requests
url = 'https://github.com/RoninLJY'
headers={
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36'
   }
temp='_device_id=98c7e8f7c9fe00d90b09c0a7d1226664; _octo=GH1.1.1732856261.1618282978; has_recent_activity=1; tz=Asia%2FShanghai; user_session=RA_-59LYZnyts3zfK3Wnv98OZivABOMFII0PukUgGObTgdx6; __Host-user_session_same_site=RA_-59LYZnyts3zfK3Wnv98OZivABOMFII0PukUgGObTgdx6; tz=Asia%2FShanghai; color_mode=%7B%22color_mode%22%3A%22light%22%2C%22light_theme%22%3A%7B%22name%22%3A%22light%22%2C%22color_mode%22%3A%22light%22%7D%2C%22dark_theme%22%3A%7B%22name%22%3A%22dark%22%2C%22color_mode%22%3A%22dark%22%7D%7D; logged_in=yes; dotcom_user=RoninLJY; _gh_sess=UUxPqI8qELe%2B2iiSRIaSRwGavfapI2bARcRJrdwtxAoPv14WJN6G0yXyieyfMxsdqVRvtCCuVSn5%2B8j7q4oIxZkLTFbd9sA%2FgHwakfXT1Xpiyup4ngs8Psrqik1Li8mQaf8M1QiA5F0Xzbk6JGsaPCpCE7p5rNEW66bSY3H%2FhN62Fomf2puv7X7Bio1Xq5c%2BKaznCE%2FEMnkTXXQ1S4tXTCOL1NaqRFbQaT54Aqrf3pPiAB6X4ZhHqh%2Fg2bpvXIvxFCiP376ZviVVyIfxNUOqBqdEn4H6gBxkUo1zHKPGxX2LPVe6wBLhcvX8%2FAPimzGgi7PDuTLQ6yvsXbTF8FPfcRNx%2BKjxUWssZnMhxt5%2Fa8oOJEm3GzGW%2FwA7JRxa2Qp%2FiNGpER2PvdNULE%2FK22OF2yt8X7mk5cm2enkP8NCjk889vuRDUi2yf2IQBvfN1bz998FqCGGOpB86J00aFs%2Fb7iulZgjxlabQvaIWLrKSVlKmYbluYTCXcmNMZHVfUGxMtB%2F%2F2xxMClosyg0zDDp7WQ4vQKU%3D--edOm0scRhG8CSIdS--yf1HCbGPJtJ5dDP%2BoGDBEA%3D%3D'
cookie_list =temp.split('; ')
cookies ={cookie.split('=')[0]:cookie.split('=')[-1]for cookie in cookie_list}
#cookies = {}
#for cookie in cookie_list:
 #   cookies[cookie.split('=')[0]]=cookie.split('=')[-1]
print(cookies)
response =requests.get(url,headers=headers,cookies=cookies)
with open("github_with_cookies3_.html","wb")as f:
 f.write(response.content)

在这里插入图片描述

3.4 注意: cookie- -般是有过期时间的，一旦过期需要重新获取

4、cookieJar对象转换为cookies字典的方法

使用request获取的resposne对象，具有cookies属性。 该属性值是-个cookieJar类型，包含了对方服
务器设置在本地的cookie。

  • 转换方法
    cookies_ dict = requests .utils.dict_ from_cookiejar(response. cookies)
  • 其中response.cookies返回的就是cookieJar类型的对象
  • requests .utils.dict from_ cookiejar函数返回cookies字典
    示例如下：
import requests
url ='http://www.baidu.com'
response =requests.get(url)
print(response.cookies)
dict_cookies = requests.utils.dict_from_cookiejar(response.cookies)
print(dict_cookies)
jar_cookies =requests.utils.cookiejar_from_dict(dict_cookies)
print(jar_cookies)

在这里插入图片描述

Ronin__L
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
「Python系列」Python requests模块
日常笔记/总结/系列知识梳理
02-29 1130
是一个用 Python 语言编写的，用于发送 HTTP 请求的库。它使得发送 HTTP 请求变得简单，无需手动添加查询字符串到你的 URL 中，或者手动处理表单的编码。请注意，禁用 SSL 证书验证会降低安全性，因为它允许你连接到不受信任的服务器。这个字典应该包含你想要设置的 HTTP 头部的名称和值。库中，你可以通过不同的参数和方法来设置超时、流式传输响应内容以及进行身份验证。如果你需要禁用 SSL 证书验证（例如，在测试环境中），你可以将。如果你不希望你的 HTTP 请求花费太多时间，你可以设置超时。
爬虫（一）爬虫入门
松鼠豪的坚果
08-25 1178
如果不知道啥是爬虫 ，传送门--------->五分钟告诉你什么是爬虫 一、为什么学习爬虫 大数据时代，根据数据分析用户购买意向，从而进行商业相关调整。浏览器中用户能拿到的，原则上爬虫都可以爬到。 关于反爬：资源同等情况下，爬虫胜利。 爬虫与黑客的区别： 爬虫：灰色地带，带账号权限操作，只是一种便利的获取数据。 黑客：违法，免爬取，付费。 二、爬虫的分类：...
requests模块
slience_me的博客
10-24 345
requests模块 知识点： 掌握 headers参数的使用 掌握 发送带参数的请求 掌握 headers中携带cookie 掌握 cookies参数的使用 掌握 cookieJar的转换方法 掌握 超时参数timeout的使用 掌握 代理ip参数proxies的使用 掌握 使用verify参数忽略CA证书 掌握 requests模块发送post请求 掌握 利用requests.session进行状态保持 前面我们了解了爬虫的基础知识，接下来我们来学习如何在代码中实现我们的爬虫 1. reque
爬虫之requests模块发送带参数的请求
IT之一小佬的博客
01-23 979
爬虫之requests模块发送带参数的请求 我们在使用百度搜索的时候经常发现url地址中会有一个?，那么该问号后边的就是请求参数，又叫做查询字符串 1.1 在url携带参数 直接对含有参数的url发起请求 import requests headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 S.
Python requests模块
晴天的博客
02-16 2547
Python requests模块
Python requests 模块
qq_52758588的博客
04-09 2139
requests模块超详细
python2 requests模块_Python requests模块
weixin_40001309的博客
12-03 1044
准备工作这一部分需要用到request模块，准备工作就是安装request模块。用request.get()发起请求import requests# 1、构造请求的URLurl = "http://..."# 2、创建请求参数params = {"mobilephone": "18012345678","pwd": "123456","regname": "zfy"}headers ={"User...
requests模块的使用详解
自成背后的博客
10-04 6629
文章目录为什么要重点学习requests模块，而不是urllibrequests模块发送简单的get请求、获取响应使用requests保存图片发送带header的请求url 带参数的两种请求方式使用requests发送POST请求代理ip的使用爬虫中使用cookie 为什么要重点学习requests模块，而不是urllib requests的底层实现就是urllib requests在python2 和python3中通用，方法完全一样 requests简单易用 Requests能够自动帮助我们解压(gz
python如何导入requests模块_python之requests模块
weixin_39879674的博客
11-24 4680
requests模块是一个用于访问网络的模块，其实类似的模块还有很多，不在一一在这里解释。这么多的相似的模块为什么都说只有这个好用呢，因为他人性化。如果你学过urllib之类的模块的话，比如urllib，对比一下就很清楚了。1、requests模块的安装requests模块的安装非常简单，使用pip install requests命令即可安装，我是在python的Terminal中直接安装的，大...
requests模块下载
08-21
在Python环境中，安装 `requests` 模块通常通过 `pip` 这一包管理工具完成。`pip` 是Python的标准包管理器，能够方便地下载、安装和管理Python库。使用 `pip install requests` 命令即可安装 `requests`。 在描述中...
python requests模块
11-08
在这个详细讲解中，我们将深入探讨`requests`模块的安装、基本用法以及它的核心功能。 首先，我们来看如何在Python环境中安装`requests`模块。根据提供的描述，我们可以遵循以下步骤： 1. **下载压缩包**：你可以...
Python requests模块安装及使用教程图解
09-16
**一、requests模块的安装** 在 Python 中安装 requests 模块非常直观，只需通过 pip 工具执行以下命令： ```bash pip install requests ``` 无论是 Python 的集成开发环境（IDE）内还是命令行中运行此命令，都...
python中requests模块的使用方法
09-22
主要介绍了python中requests模块的使用方法,实例分析了requests模块的使用技巧,具有一定参考借鉴价值,需要的朋友可以参考下
Python requests模块session代码实例
09-17
Python的requests模块是进行HTTP请求的重要库，它提供了简单易用的接口来发送HTTP请求。在处理多个相关联的HTTP请求时，`Session`对象是非常关键的一个概念。`Session`对象允许我们在一系列请求之间保持某些状态，如...
随机数种子的作用
帆的博客
07-23 1103
设置随机数种子（random seed）的目的是为了确保随机数生成器在每次运行时产生相同的随机数序列，从而保证实验结果的一致性。随机数种子通过初始化随机数生成器的内部状态，使得在相同的种子值下，随机数生成器每次调用时生成的序列是相同的。
Java-Lambda
lizhiwei21的博客
07-21 492
lambda表达式可以理解为对匿名内部类的一种简化 , 但是本质是有区别的面向对象思想 :强调的是用对象去完成某些功能函数式编程思想 :强调的是结果 , 而不是怎么去做。
使用9种方法隐藏和显示元素
lulei5153的博客
07-21 203
【代码】使用9种方法隐藏和显示元素。
提取autocad2024图形中图块的属性的代码-统计选中图块长度属性的总长度
最新发布
VB973490770的专栏
07-24 114
阀门位号：XV-123。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值