爬虫-获取访问后可见的页面-get方法cookies参数形式

最新推荐文章于 2024-04-21 15:38:24 发布
最新推荐文章于 2024-04-21 15:38:24 发布
阅读量469 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ifubing/article/details/102182963
版权

请求格式

response = request.get(url, headers=请求头字典， cookies=cookie字典)

此法的请求字典是

{‘uuid_tt_dd’: ‘10_28743412270-1569723942844-420746’, ‘dc_session_id’: ‘10_1569723942844.879679’ 。。。。

这样的形态的

演练代码

在上一篇基础上，把请求方式换一下就好

购建cookie字典

cookies_dict = parse_header(str_cookies)
cookies = {item.split("=")[0].strip(): item.split("=")[1].strip() for item in cookies_dict['cookie'].strip().split(';')}

代码截图

在这里插入图片描述

在这里插入图片描述

结果

在这里插入图片描述

可见拿到了数据了

知识点

本例用到了字典推导式

使用了get方法的cookies参数

鲸鱼编程pyhui
关注
Python 爬虫入门 - requests 请求模拟登录的多种方法
Mr数据杨
05-29 4万+
如何使用Python进行网页模拟登录，尤其是在涉及到复杂的认证机制时？本次讨论将详细介绍多种模拟登录的方法，以及如何绕过一些常见的安全防护措施。通过使用已知的cookie进行登录。这个方法是基于cookie作为客户端的“身份证”，使得服务器能识别不同的客户端。简单地说拿到了cookie，就等于拿到了进入网站的钥匙。这里将展示如何通过浏览器获取cookie，并在Python代码中使用它来进行模拟登录。
ajax 封装
decizi6266的博客
06-28 94
var config = "https://*******.com";var aHttp = {};aHttp.resultHandler = function(opt) { var option = { url: config + opt.url, type: 'post', dataType: 'json', data: ...
moco（四）----带cookies信息的get、post请求
chengye4346的博客
08-23 292
1、带cookies信息的get请求 [ { "description":"模拟一个带cookies的get请求", "request":{ "uri":"/get/cookies", "method":"get", "cookies":{ "login...
爬虫中获取cookie的方式
m0_46135508的博客
07-19 5902
为什么要获取cookie？ 因为有的页面爬取的时候，需要登录后才能爬，比如知乎，如何判断一个页面是否已经登录，通过判断是否含有cookies就可以，我们获取到cookie后就可以携带cookie来访问需要登录后的页面了。 方式一使用session 这里的session并不是django中的session，而是requests中的session import requests url = 'https://www.processon.com/login' login_email = '283867@qq.c
Python网络爬虫及自动化--获取页面cookie、headers
m0_61598337的博客
08-27 5805
requests.utils.dict_from_cookiejar(response.cookies) #将RequestsCookieJar类型的cookies转换成字典。当你用默认请求头去访问百度网站，只会返回一小段的内容，而用浏览器去访问，就有非常多的内容。改用FireFox，使用driver.find_element定位元素需要等待页面加载结束，使用time.sleep(2)等待。注意：由于IE浏览器安全设置，driver.page_source为空，By.ID等无法定位元素。......
python 爬虫 selenium_Python爬虫获取cookie：利用selenium
weixin_39861905的博客
11-28 213
下载、安装selenium下载地址：https://pypi.python.org/pypi/selenium目前的版本是：3.0.0b2支持：Firefox, Chrome, Internet Explorer, PhantomJSjar包的下载：selenium-3.0.0b2.tar.gz解压selenium-3.0.0b2.tar.gz，进入selenium-3.0.0b2目录，执行pyt...
Python 网络爬虫--关于简单的模拟登录实例讲解
09-20
这时，可以使用`session.get()`方法访问登录后的页面，获取只有登录用户才能看到的内容。 **提供的Python代码分析** 代码中展示了如何模拟登录一个特定的网站（http://my.its.csu.edu.cn/）。以下是对代码的详细...
网络爬虫-如何通过爬虫实现GitHub网页的模拟登录-Python实例源码.zip
12-13
- 发送GET请求获取登录页面。 - 解析HTML，获取表单数据（用户名、密码字段名和CSRF令牌）。 - 构造POST请求，包含登录信息和必要的headers（如User-Agent）。 - 使用Session发送POST请求，保存返回的cookies。 ...
【python】爬虫系列Day03--url传参_爬虫url问号后面的参数
最新发布
2401_84520118的博客
04-21 1339
💎 💎 💎今天为大家介绍爬虫的url传参啦！！！这是爬虫的第三讲咯！！！🚀 🚀 🚀如果你看完感觉对你有帮助，，，欢迎给个三连哦💗！！！您的支持是我创作的动力。！！😘😘😘案例有需要的可以私我获取哦 🥰🥰🥰本文到这里就结束啦👍👍👍，如果有帮到你欢迎给个三连支持一下哦❤️ ❤️ ❤️文章中有哪些不足需要修改的地方欢迎指正啦！！！让我们一起加油👏👏👏⭕⭕⭕最最最后还是要提示一下啦！！！！！🔺🔺🔺。
python爬虫中get和post方法介绍以及cookie作用
09-20
在爬虫中，Cookie常常用于维持用户登录状态，比如在登录163邮箱后，服务器会返回一个Cookie，爬虫在后续访问其他页面时需要带上这个Cookie，以表明已经登录的身份。如果缺失Cookie，服务器可能会要求重新登录。 ...
selenium中get_cookies()和add_cookie（）的用法详解
12-23
在用selenium爬取网页的时候，有时候需要登陆，这时候用selenium获取cookie和携带cookie是很方便的，获取cookie可以通过内置的函数get_cookies()，它得到的是一组cookie,是由cookie组成的列表。单个的cookie是字典组成的，所有get_cookies()返回值是由字典组成的列表。 dictCookies = browser.get_cookies() jsonCookies = json.dumps(dictCookies) # print(jsonCookies) with open('anquan.txt', 'w') as f: f.
带cookies信息的get方法和post方法实现
Tison的博客
05-10 2775
新建json文件命令为startupGet，添加内容，代码如下 [ { "description":"这是一个带cookies信息的get请求", "request":{ "uri":&am
python爬虫get和post方法的使用以及cookie
fengzhizi76506的博客
03-07 5443
首先确定你要爬取的目标网站的表单提交方式，可以通过开发者工具看到。这里推荐使用chrome。 这里我用163邮箱为例 打开工具后再Network中， 在 Name选中想要了解的网站，右侧headers里的request method就是提交方式。status如果是200表示成功访问 下面的 有头信息，cookie是你登录之后产生的存储会话（session）信息的。第一次访问该网页
HttpClient学习笔记(获取cookies+携带获取的cookies访问get接口)
简单随风的博客
05-25 1万+
1.首先配置好测试用的mock接口 [ { "description":"这是一个带cookies信息的get请求", "request":{ "uri":"/getcookies", "method":"get" }, "response":{ "cookies&q
爬虫记录（3）——模拟登录获取cookie，访问私信页面
juewang_love的博客
09-06 4903
继上一篇博文 爬虫记录（2）——简单爬取一个页面的图片并保存 ，今天我们通过httpclient模拟表单登录开源中国，获取cookie，然后通过cookie访问个人私信页面。 1、准备工作 模拟表单登录，首先需要知道登录的url，以及登录表单的字段。这里我们图一中故意输入一个错误的用户名和密码，然后通过查看图二中的network中，发现登录的url是https://www.osch
Nodejs转发带cookie请求（superagent）
热门推荐
机智的皮卡丘的博客
06-16 1万+
最近稍微研究了下nodejs的路由转发，主要是研究了下cookie的转发，这样可以共享cookie请求（不过服务器同域跨端口共享cookie也可以配），看了下网上的第三方框架，用了下request好像是不太好用，就用了下superagent来研究，talk is cheap，show you the codeexpress中转发cookie简例const express = require('exp
request 获取cookie的方法
b15735105314的博客
09-22 1万+
request获取cookie的代码如下： Cookie[] cookieArr = request.getCookies(); if(cookieArr != null && cookieArr.length>0 ) { for(Cookie cookie : cookieArr) { if("trsidsssosessionid".equals(cookie.getName())) { ...
js读取cookie
weixin_44931761的博客
09-01 1063
方法一： decodeURI() 函数可对 encodeURI() 函数编码过的 URI 进行解码，原理如下： <script type="text/javascript"> var test1="http://www.w3school.com.cn/My first/" document.write(encodeURI(test1)+ "<br />")//编码 do...
Fiddler教程：定向爬虫模拟登录与Cookies应用
例如，可能看到类似于`cookie={"Cookie": "XXXXXXXX"}`这样的格式，然后将其传递给requests的get或post方法，设置`cookies`参数，如`Html=requests.get(url, cookies=cookie)`。这样，爬虫就能带着正确的身份信息...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

鲸鱼编程pyhui

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值