使用cookie模拟登陆豆瓣影评

最新推荐文章于 2022-03-29 20:56:02 发布
最新推荐文章于 2022-03-29 20:56:02 发布
阅读量2.4k 收藏 10
点赞数 3
分类专栏： python 文章标签： 爬虫 cookie 豆瓣 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40019973/article/details/89819322
版权

1、先登录自己的豆瓣号，按F12会出现下面的开发者工具在这里插入图片描述2、然后点击Network,再Ctrl+R,，可以看到有很多数据，比如下面这张图，包含有状态码，请求内型等，太多了，我们只需要找到含有我们自己用户的cookie值就好，豆瓣这个还是很好找，我的cooike就放在www.douban.com这个文件里，双击它，翻到Request eaders，就可以看到自己的cooike值，将它复制下来（每个网站不一样，需要耐心仔细的找，包含的参数啊等等）
在这里插入图片描述
在这里插入图片描述
3.下面就直接上代码了

#cookies登录豆瓣
cookies = {
    'cookie':'你的cookie值'}
url = 'https://www.douban.com'
#头文件
headers = {
	'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.157 Safa
最低0.47元/天 解锁文章
萝卜hu
关注
  • 3
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
使用Cookies登录网站--登录豆瓣网站
yangguangzhao666的博客
12-04 6859
使用Cookies登录网站–登录豆瓣网站 首先打开豆瓣的首页，输入用户名和密码并单击“登录豆瓣”，显示的结果验证打开的是已经登录的个人主页，说明已经成功地使用Cookies登录豆瓣网站并访问一些深层网页。 import requests cookie = 'll="131385"; ' \ 'bid=T6pEStc8Z8Y;' \ ' _vwo_uuid_v2...
使用动态IP池+cookie爬取豆瓣豆瓣影评数据
10-14
在爬虫过程中，如果我们能模拟浏览器行为，携带正确的cookie，就能模拟用户登录状态，访问到需要登录后才能查看的数据，如豆瓣影评。 爬取豆瓣影评数据的具体步骤如下： 1. **环境准备**：安装必要的Python库，如...
菜鸟写Python-Selenium操作：Selenium登录豆瓣并获取cookies
第一段代码的博客
08-10 2614
一、背景 很多时候，我们在爬取数据时，有些页面的数据需要登录才能看到，因此需要登录再爬取数据。实现login再爬取的手段很多，但核心都是通过cookie的方式来记录身份信息，因此模拟登录的核心在于对cookie的使用（获取、保存和使用）。 二、模拟登录方法 1、通过分析登录页面，获取登录接口和提交表单进行登录验证（可以用简单的Request库结合cookielib方式或者Scrapy等） ...
保存及读取cookie文件登陆豆瓣网站
04-03
通过模拟登陆获取cookie， 保存到本地， 使用本地cookie登陆网站。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。
selenium模拟登陆豆瓣并获取cookies
python爬虫人工智能大数据
05-14 7187
验证码处理与模拟登陆豆瓣，首先我们看到豆瓣没有cookies，我们需要用程序来模拟登陆获取cookies（当前有些情况下自己手动登陆后复制粘贴cookies也能登陆），该文主要讲方法，如何用selenium模拟登陆获取cookies1、输入用户名、密码点击登录，点击登录后跳转到另外一个验证码页面，并通过云打码进行验证码返回2、验证码返回后输入后通过字典推导式获取每个domain中的name和val...
爬虫实战【12】使用cookie登陆豆瓣电影以及获取单个电影的所有短评
weixin_30414305的博客
12-07 893
昨天我们已经实现了如何抓取豆瓣上的热门电影信息，虽然不多，只有几百，但是足够我们进行分析了。 今天我们来讲一下如何获取某一部电影的所有短评论信息，并保存到mongodb中。 反爬虫 豆瓣设置的反爬虫机制是比较简单的，我们可以通过selenium模拟浏览器登陆这种终极办法来绕过，但是更加有效率的方法是设置请求头信息的cookie，是豆瓣认为在访问的就是一个用户，而不是机器。 【插入图片，我的cook...
python爬取豆瓣书籍_Python 爬取豆瓣读书标签下的书籍
weixin_39869693的博客
11-27 470
这几天想爬下豆瓣读书时发现 github 上他人分享的源码都有一定年份了，豆瓣读书的页面貌似也稍微改了，于是就在前人轮子的基础上改进一下重新爬下豆瓣读书。Python 版本是 3.7。1.爬取信息简单的思路还是用 urllib 的 request 模块抓取豆瓣读书页面 URL 内容，然后用 bs4 解析页面，最后用 openpyxl 处理保存到 excel 文件中（eazy）。首先分析下豆瓣读书页...
Java 模拟cookie登陆简单操作示例
08-24
本示例主要是为了演示如何使用 Java 语言模拟 Cookie 登陆，实现自动登陆的功能。 是什么是 Cookie？ 在了解 Java 模拟 Cookie 登陆之前，我们需要首先了解什么是 Cookie。Cookie 是一种小型文本文件，用于存储 ...
使用cookie实现统计访问者登陆次数
12-18
在本文中，我们将深入探讨如何使用Cookie来统计访问者的登录次数。Cookie是一种在客户端存储信息的小型文本文件，常用于追踪用户的浏览行为、保持登录状态等。以下是对标题和描述中涉及的技术点的详细解释： 1. **...
httpclient模拟登陆具体实现(使用js设置cookie)
10-26
最简单的方法就是通过得到的cookie定制一个httpclient，感兴趣的朋友可以了解下本
Python爬虫--使用cookies登录豆瓣网
wonder
04-19 7999
用python做网络爬虫时，有时需要登录某些网站。 例如使用requests请求登录豆瓣网的时候需要输入用户密码，可能还需要输入验证码，比较麻烦。 现在在请求豆瓣网链接www.douban.com的时候，使用post加上cookies，可以不用输入账号和密码直接登录。 方法如下： 打开浏览器，打开豆瓣的主页，按下键盘上的F12键（打开浏览器的开发者工具），此时输入账号和密码登录豆瓣网。查看...
requests使用cookie模拟登陆豆瓣
Jxc的个人博客
06-21 2971
cookie： 一种客户端会话技术，客户登录成功后，服务端将可识别用户的凭证传到客户端，由客户端负责保存维护。一般会设定一定有效时长，在有效时长内，客户无需再次进行登录操作，可直接携带cookie登录。
Python爬虫学习5：使用cookie访问网页（以豆瓣为例）
zhuzuwei的博客
07-01 1万+
1. 先在浏览器上登录豆瓣，登录成功后打开开发者工具，可以查看到Cookie.        第一次登录后，短时间内再次打开此页面时，会发现系统已经保存了cookie, 不用再重新登录。时间长了cookie会失效，需重新登录.2.  实现代码import requests headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64) ...
html读取cookies,豆瓣获取cookies访问不了页面
weixin_42509398的博客
07-01 436
这是我自己写的构造参数爬取豆瓣，能进行登入，但是获取cookies，去访问就不行，也不知道哪里有问题希望老师不忙的时候帮忙看一下谢谢from lxml import etreefrom PIL import Imageimport requeststry:import cookielibexcept :import http.cookiejar as cookielibsession=requ...
python爬虫 豆瓣影评的爬取cookies实现自动登录账号
weixin_46173586的博客
08-11 1730
python爬虫 豆瓣影评的爬取cookies实现自动登录账号 频繁的登录网页会让豆瓣锁定你的账号…… 网页请求 使用cookies来实现的自动登录账号，这里的cookies因为涉及到账号我屏蔽了，具体的cookies获取方法直接可以让浏览器实现自动登录后，在网页请求信息中自己找到。 def askURL(url): head = { "User-Agent": "Mozilla / 5.0(Windows NT 10.0;WOW64) AppleWebKit / 537.36(K
爬虫用Cookie登录网页
eye_water的博客
11-08 8809
最近在爬取豆瓣的数据时发现了一些问题。因为要做一个爬虫，爬取用户读过的书以及对书的评分。但是在进行网页的分析时却出现了点问题。 当浏览器打开用户读书记录的链接时是没有任何问题的，但是用requests库来进行网页爬取时却出现了问题。 以https://book.douban.com/people/…/collect这个链接为例，获取这个链接的html源码，一般都是这样写：import reque
豆瓣爬虫 (CookieJar练习 ：爬取用户登入后的响应页面)
weixin_42552374的博客
11-01 559
#!/usr/bin/env python # -*- coding: utf-8 -*- import urllib import urllib.request import urllib.parse from http.cookiejar import CookieJar import ssl # 全局取消证书验证 # ssl._create_default_https_context ...
豆瓣简单模拟登陆
makerNo的博客
01-30 592
找url 找到登陆接口后，用requests.post()请求该网页URL，之后将得到的cookie存入本地。 遇到什么问题？ 参数问题，在requests的post中要用，data。在get中要用params，这个就搞人了。 给我感觉cookie的作用。没有cookie，一些网站是不能爬取的，要爬就需要cookie，那么有些网站必须登陆才有对的cookie可以获取。得到cookie后存入本地。 这个登陆接口页面的cookie也就是豆瓣主页的需要的cookie，什么时候cookie会变 我也不知道，我退出豆
cookie是什么？有什么用？cookie详解，一篇文章彻底搞懂cookie
热门推荐
m0_62695120的博客
03-29 2万+
Cookie是什么 cookie的中文翻译是曲奇，小甜饼的意思。cookie其实就是一些数据信息，类型为“小型文本文件”，存储于电脑上的文本文件中。 Cookie有什么用 我们想象一个场景，当我们打开一个网站时，如果这个网站我们曾经登录过，那么当我们再次打开网站时，发现就不需要再次登录了，而是直接进入了首页。例如bilibili，csdn等网站。 这是怎么做到的呢？其实就是游览器保存了我们...
java cookie模拟登陆
最新发布
03-29
以下是一个使用Java模拟登陆的示例代码： ```java import java.io.BufferedReader; import java.io.InputStreamReader; import java.net.HttpURLConnection; import java.net.URL; import java.net.URLEncoder; import java.util.List; import java.util.Map; public class LoginDemo { public static void main(String[] args) throws Exception { String loginUrl = "http://example.com/login"; String username = "your_username"; String password = "your_password"; // Create a new URL object URL url = new URL(loginUrl); // Create a new HttpURLConnection object HttpURLConnection connection = (HttpURLConnection) url.openConnection(); // Set the request method to POST connection.setRequestMethod("POST"); // Set the request headers connection.setRequestProperty("User-Agent", "Mozilla/5.0"); connection.setRequestProperty("Accept-Language", "en-US,en;q=0.5"); // Set the request parameters String params = "username=" + URLEncoder.encode(username, "UTF-8") + "&password=" + URLEncoder.encode(password, "UTF-8"); connection.setDoOutput(true); connection.getOutputStream().write(params.getBytes("UTF-8")); // Send the request int responseCode = connection.getResponseCode(); if (responseCode == HttpURLConnection.HTTP_OK) { // Read the response BufferedReader in = new BufferedReader(new InputStreamReader(connection.getInputStream())); String inputLine; StringBuffer response = new StringBuffer(); while ((inputLine = in.readLine()) != null) { response.append(inputLine); } in.close(); // Print the response System.out.println(response.toString()); // Get the cookies from the response headers Map<String, List<String>> headerFields = connection.getHeaderFields(); List<String> cookiesHeader = headerFields.get("Set-Cookie"); if (cookiesHeader != null) { // Parse the cookies and store them in a CookieManager object java.net.CookieManager cookieManager = new java.net.CookieManager(); for (String cookie : cookiesHeader) { cookieManager.getCookieStore().add(null, HttpCookie.parse(cookie).get(0)); } // Use the CookieManager to send subsequent requests with the cookies URL newUrl = new URL("http://example.com/protected_page"); HttpURLConnection newConnection = (HttpURLConnection) newUrl.openConnection(); cookieManager.getCookieStore().getCookies().forEach(c -> newConnection.addRequestProperty("Cookie", c.toString())); int newResponseCode = newConnection.getResponseCode(); if (newResponseCode == HttpURLConnection.HTTP_OK) { // Read the response BufferedReader newIn = new BufferedReader(new InputStreamReader(newConnection.getInputStream())); String newInputLine; StringBuffer newResponse = new StringBuffer(); while ((newInputLine = newIn.readLine()) != null) { newResponse.append(newInputLine); } newIn.close(); // Print the response System.out.println(newResponse.toString()); } else { System.out.println("Failed to fetch protected page"); } } } else { System.out.println("Failed to login"); } } } ``` 此代码将使用POST请求发送用户名和密码到登录页面。如果登录成功，它将获取响应标头中的cookie，并将其存储在CookieManager对象中。然后，它将使用CookieManager对象向受保护的页面发送新请求，并在请求中添加所有cookie。如果此请求成功，它将打印受保护页面的内容。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值