使用cookie模拟登陆豆瓣影评

最新推荐文章于 2022-03-29 20:56:02 发布
最新推荐文章于 2022-03-29 20:56:02 发布
阅读量2.4k 收藏 10
点赞数 3
分类专栏： python 文章标签： 爬虫 cookie 豆瓣 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40019973/article/details/89819322
版权

1、先登录自己的豆瓣号，按F12会出现下面的开发者工具在这里插入图片描述2、然后点击Network,再Ctrl+R,，可以看到有很多数据，比如下面这张图，包含有状态码，请求内型等，太多了，我们只需要找到含有我们自己用户的cookie值就好，豆瓣这个还是很好找，我的cooike就放在www.douban.com这个文件里，双击它，翻到Request eaders，就可以看到自己的cooike值，将它复制下来（每个网站不一样，需要耐心仔细的找，包含的参数啊等等）
在这里插入图片描述

最低0.47元/天 解锁文章
萝卜hu
关注
  • 3
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
使用Cookies登录网站--登录豆瓣网站
yangguangzhao666的博客
12-04 6850
使用Cookies登录网站–登录豆瓣网站 首先打开豆瓣的首页，输入用户名和密码并单击“登录豆瓣”，显示的结果验证打开的是已经登录的个人主页，说明已经成功地使用Cookies登录豆瓣网站并访问一些深层网页。 import requests cookie = 'll="131385"; ' \ 'bid=T6pEStc8Z8Y;' \ ' _vwo_uuid_v2...
菜鸟写Python-Selenium操作：Selenium登录豆瓣并获取cookies
第一段代码的博客
08-10 2612
一、背景 很多时候，我们在爬取数据时，有些页面的数据需要登录才能看到，因此需要登录再爬取数据。实现login再爬取的手段很多，但核心都是通过cookie的方式来记录身份信息，因此模拟登录的核心在于对cookie的使用（获取、保存和使用）。 二、模拟登录方法 1、通过分析登录页面，获取登录接口和提交表单进行登录验证（可以用简单的Request库结合cookielib方式或者Scrapy等） ...
爬虫实战【12】使用cookie登陆豆瓣电影以及获取单个电影的所有短评
weixin_30414305的博客
12-07 893
昨天我们已经实现了如何抓取豆瓣上的热门电影信息，虽然不多，只有几百，但是足够我们进行分析了。 今天我们来讲一下如何获取某一部电影的所有短评论信息，并保存到mongodb中。 反爬虫 豆瓣设置的反爬虫机制是比较简单的，我们可以通过selenium模拟浏览器登陆这种终极办法来绕过，但是更加有效率的方法是设置请求头信息的cookie，是豆瓣认为在访问的就是一个用户，而不是机器。 【插入图片，我的cook...
保存及读取cookie文件登陆豆瓣网站
04-03
通过模拟登陆获取cookie， 保存到本地， 使用本地cookie登陆网站。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。
requests使用cookie模拟登陆豆瓣
Jxc的个人博客
06-21 2968
cookie： 一种客户端会话技术，客户登录成功后，服务端将可识别用户的凭证传到客户端，由客户端负责保存维护。一般会设定一定有效时长，在有效时长内，客户无需再次进行登录操作，可直接携带cookie登录。
Python爬虫--使用cookies登录豆瓣网
wonder
04-19 7988
用python做网络爬虫时，有时需要登录某些网站。 例如使用requests请求登录豆瓣网的时候需要输入用户密码，可能还需要输入验证码，比较麻烦。 现在在请求豆瓣网链接www.douban.com的时候，使用post加上cookies，可以不用输入账号和密码直接登录。 方法如下： 打开浏览器，打开豆瓣的主页，按下键盘上的F12键（打开浏览器的开发者工具），此时输入账号和密码登录豆瓣网。查看...
使用动态IP池+cookie爬取豆瓣豆瓣影评数据
10-14
在爬虫过程中，如果我们能模拟浏览器行为，携带正确的cookie，就能模拟用户登录状态，访问到需要登录后才能查看的数据，如豆瓣影评。 爬取豆瓣影评数据的具体步骤如下： 1. **环境准备**：安装必要的Python库，如...
Java 模拟cookie登陆简单操作示例
08-24
本示例主要是为了演示如何使用 Java 语言模拟 Cookie 登陆，实现自动登陆的功能。 是什么是 Cookie？ 在了解 Java 模拟 Cookie 登陆之前，我们需要首先了解什么是 Cookie。Cookie 是一种小型文本文件，用于存储 ...
使用cookie实现统计访问者登陆次数
12-18
在本文中，我们将深入探讨如何使用Cookie来统计访问者的登录次数。Cookie是一种在客户端存储信息的小型文本文件，常用于追踪用户的浏览行为、保持登录状态等。以下是对标题和描述中涉及的技术点的详细解释： 1. **...
httpclient模拟登陆具体实现(使用js设置cookie)
10-26
最简单的方法就是通过得到的cookie定制一个httpclient，感兴趣的朋友可以了解下本
Python爬虫学习5：使用cookie访问网页（以豆瓣为例）
zhuzuwei的博客
07-01 1万+
1. 先在浏览器上登录豆瓣，登录成功后打开开发者工具，可以查看到Cookie.        第一次登录后，短时间内再次打开此页面时，会发现系统已经保存了cookie, 不用再重新登录。时间长了cookie会失效，需重新登录.2.  实现代码import requests headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64) ...
python爬虫 豆瓣影评的爬取cookies实现自动登录账号
weixin_46173586的博客
08-11 1730
python爬虫 豆瓣影评的爬取cookies实现自动登录账号 频繁的登录网页会让豆瓣锁定你的账号…… 网页请求 使用cookies来实现的自动登录账号，这里的cookies因为涉及到账号我屏蔽了，具体的cookies获取方法直接可以让浏览器实现自动登录后，在网页请求信息中自己找到。 def askURL(url): head = { "User-Agent": "Mozilla / 5.0(Windows NT 10.0;WOW64) AppleWebKit / 537.36(K
selenium模拟登陆豆瓣并获取cookies
python爬虫人工智能大数据
05-14 7186
验证码处理与模拟登陆豆瓣，首先我们看到豆瓣没有cookies，我们需要用程序来模拟登陆获取cookies（当前有些情况下自己手动登陆后复制粘贴cookies也能登陆），该文主要讲方法，如何用selenium模拟登陆获取cookies1、输入用户名、密码点击登录，点击登录后跳转到另外一个验证码页面，并通过云打码进行验证码返回2、验证码返回后输入后通过字典推导式获取每个domain中的name和val...
python cookie 模拟登录_Python爬虫请求cookie模拟登录豆瓣,python,requestscookie
weixin_39517199的博客
02-19 509
课程目标：为什么要模拟登录模拟登录原理 - cookie和session如何识别常用的验证码通过 selenium模拟登录并使用coodie滑动验证码+selenium模拟登录哔哩哔哩1.为什么要模拟登录因为很多网站是需要登录之后才可以看到一些数据，所以需要用python模拟登录。2.模拟登录原理 -cookie和sessionrequest模拟登录豆瓣如下import jsonimport re...
豆瓣爬虫 (CookieJar练习 ：爬取用户登入后的响应页面)
weixin_42552374的博客
11-01 558
#!/usr/bin/env python # -*- coding: utf-8 -*- import urllib import urllib.request import urllib.parse from http.cookiejar import CookieJar import ssl # 全局取消证书验证 # ssl._create_default_https_context ...
python爬取豆瓣书籍_Python 爬取豆瓣读书标签下的书籍
weixin_39869693的博客
11-27 470
这几天想爬下豆瓣读书时发现 github 上他人分享的源码都有一定年份了，豆瓣读书的页面貌似也稍微改了，于是就在前人轮子的基础上改进一下重新爬下豆瓣读书。Python 版本是 3.7。1.爬取信息简单的思路还是用 urllib 的 request 模块抓取豆瓣读书页面 URL 内容，然后用 bs4 解析页面，最后用 openpyxl 处理保存到 excel 文件中（eazy）。首先分析下豆瓣读书页...
html读取cookies,豆瓣获取cookies访问不了页面
weixin_42509398的博客
07-01 436
这是我自己写的构造参数爬取豆瓣，能进行登入，但是获取cookies，去访问就不行，也不知道哪里有问题希望老师不忙的时候帮忙看一下谢谢from lxml import etreefrom PIL import Imageimport requeststry:import cookielibexcept :import http.cookiejar as cookielibsession=requ...
爬虫用Cookie登录网页
eye_water的博客
11-08 8808
最近在爬取豆瓣的数据时发现了一些问题。因为要做一个爬虫，爬取用户读过的书以及对书的评分。但是在进行网页的分析时却出现了点问题。 当浏览器打开用户读书记录的链接时是没有任何问题的，但是用requests库来进行网页爬取时却出现了问题。 以https://book.douban.com/people/…/collect这个链接为例，获取这个链接的html源码，一般都是这样写：import reque
cookie是什么？有什么用？cookie详解，一篇文章彻底搞懂cookie
热门推荐
m0_62695120的博客
03-29 2万+
Cookie是什么 cookie的中文翻译是曲奇，小甜饼的意思。cookie其实就是一些数据信息，类型为“小型文本文件”，存储于电脑上的文本文件中。 Cookie有什么用 我们想象一个场景，当我们打开一个网站时，如果这个网站我们曾经登录过，那么当我们再次打开网站时，发现就不需要再次登录了，而是直接进入了首页。例如bilibili，csdn等网站。 这是怎么做到的呢？其实就是游览器保存了我们...
java cookie模拟登陆
最新发布
03-29
以下是一个使用Java模拟登陆的示例代码： ```java import java.io.BufferedReader; import java.io.InputStreamReader; import java.net.HttpURLConnection; import java.net.URL; import java.net.URLEncoder; import java.util.List; import java.util.Map; public class LoginDemo { public static void main(String[] args) throws Exception { String loginUrl = "http://example.com/login"; String username = "your_username"; String password = "your_password"; // Create a new URL object URL url = new URL(loginUrl); // Create a new HttpURLConnection object HttpURLConnection connection = (HttpURLConnection) url.openConnection(); // Set the request method to POST connection.setRequestMethod("POST"); // Set the request headers connection.setRequestProperty("User-Agent", "Mozilla/5.0"); connection.setRequestProperty("Accept-Language", "en-US,en;q=0.5"); // Set the request parameters String params = "username=" + URLEncoder.encode(username, "UTF-8") + "&password=" + URLEncoder.encode(password, "UTF-8"); connection.setDoOutput(true); connection.getOutputStream().write(params.getBytes("UTF-8")); // Send the request int responseCode = connection.getResponseCode(); if (responseCode == HttpURLConnection.HTTP_OK) { // Read the response BufferedReader in = new BufferedReader(new InputStreamReader(connection.getInputStream())); String inputLine; StringBuffer response = new StringBuffer(); while ((inputLine = in.readLine()) != null) { response.append(inputLine); } in.close(); // Print the response System.out.println(response.toString()); // Get the cookies from the response headers Map<String, List<String>> headerFields = connection.getHeaderFields(); List<String> cookiesHeader = headerFields.get("Set-Cookie"); if (cookiesHeader != null) { // Parse the cookies and store them in a CookieManager object java.net.CookieManager cookieManager = new java.net.CookieManager(); for (String cookie : cookiesHeader) { cookieManager.getCookieStore().add(null, HttpCookie.parse(cookie).get(0)); } // Use the CookieManager to send subsequent requests with the cookies URL newUrl = new URL("http://example.com/protected_page"); HttpURLConnection newConnection = (HttpURLConnection) newUrl.openConnection(); cookieManager.getCookieStore().getCookies().forEach(c -> newConnection.addRequestProperty("Cookie", c.toString())); int newResponseCode = newConnection.getResponseCode(); if (newResponseCode == HttpURLConnection.HTTP_OK) { // Read the response BufferedReader newIn = new BufferedReader(new InputStreamReader(newConnection.getInputStream())); String newInputLine; StringBuffer newResponse = new StringBuffer(); while ((newInputLine = newIn.readLine()) != null) { newResponse.append(newInputLine); } newIn.close(); // Print the response System.out.println(newResponse.toString()); } else { System.out.println("Failed to fetch protected page"); } } } else { System.out.println("Failed to login"); } } } ``` 此代码将使用POST请求发送用户名和密码到登录页面。如果登录成功，它将获取响应标头中的cookie，并将其存储在CookieManager对象中。然后，它将使用CookieManager对象向受保护的页面发送新请求，并在请求中添加所有cookie。如果此请求成功，它将打印受保护页面的内容。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值