微博采集所用到的几种cookie总结

最新推荐文章于 2024-05-25 15:02:24 发布
最新推荐文章于 2024-05-25 15:02:24 发布
阅读量2.5k 收藏 1
点赞数
分类专栏： 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wang785994599/article/details/90710685
版权

微博cookie的分类

用户登陆cookie

该cookie为微博网页版登陆所产上的cookie，可用于几乎所有的微博内容，微博评论采集，但是无法访问部分微博内容的接口(即未登录状态下显示404的微博)。

游客cookie

该cookie为未登陆状态下访问微博所需要的cookie，可用于几乎所有的微博内容，微博评论采集，但是部分微博内容和评论无法采集，不是用户设置权限而是对于部分微博，由于可能涉及到敏感词，未登录状态下访问该微博会显示404。访问评论接口会显示无评论。

登陆后访问敏感微博所产生的cookie

登陆后打开敏感微博的数据接口，会发生一系列跳转产生新的cookie，该微博我们目前用于敏感微博的采集。

更多的待发现

__IProgrammer
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
微博app-Cookie分析
Codeoooo 博客
06-20 1516
微博hook-cookies:(xposed)：通过httpClient发送出去。
Cookie的格式及组成
xeh的专栏
06-26 1460
　Cookie由变量名和值组成，类似Javascript变量。其属性里既有标准的Cookie变量，也有用户自己创建的变量，属性中变量是用“变量=值”形式来保存。　　根据Netscape公司的规定，Cookie格式如下：　　Set－Cookie: NAME=VALUE；Expires=DATE；Path=PATH；Domain=DOMAIN_NAME；SECURE　　NAME=VALUE：　　这是每...
微博登录cookie的获取和使用
热门推荐
wojiucaonen的博客
06-17 1万+
首先是pc版网页cookie的获取： from selenium import webdriver import time from selenium.webdriver.support.wait import WebDriverWait from selenium.webdriver.support import expected_conditions as EC from selenium.w...
用户登陆微博的最常见方式_python爬虫：常见的登陆方式
weixin_35323550的博客
01-24 304
常见的登录方式有以下两种：查看登录页面，csrf,cookie;授权；cookie直接发送post请求,获取cookie上面只是简单的描述，下面是详细的针对两种登录方式的时候爬虫的处理方法第一种情况这种例子其实也比较多，现在很多网站的登录都是第一种的方法，这里通过以github为例子：分析页面获取authenticity_token信息我们都知道登录页面这里都是一个form表单提交，我可以可以通过...
纯小白思路0基础微博扫码登录抓包流程拿微博sub及完整cookie
最新发布
qq_21541803的博客
05-25 1177
以我的理解就是相当于身份证，这个身份证可以证明出很多东西也是最重要的东西。可以看到完全没有任何问题，那我们就可以写一个时钟或者定时器，重复抓包数据看一下目前的状态是什么，现在显示二维码过期是我们浪费太多时间，需要注意的是，为了严谨性我们可以一次抓包获取一下状态，看一下返回的retcode是多少数值。entry和source就不用看了，自行百度一下，或者问gpt吧，url是一个固定值，这个可以多次抓包对比，qrid参数就是我们上一个js获取到的数据，disp也是固定值，那我们是不是就可以写，新的请求地址是。
什么是Cookie及第三方Cookie
diaoqi5743的博客
04-03 305
在看具体的文字说明以前，下面有一副来自微博上的cookie简介图，非常简单形象的介绍了Cookie： 下面我们正式开始Cookie的详细介绍： Cookie是网站存放在客户端的一小段数据。一般的，网站为了提升用户体验，在客户的客户端中保存用户的历史信息，以备用户再次访问时网站能提供更方便，更有针对性的服务。比如，网站可以记住你的登录状态，只要登录一次下次访问就不用在登录；购物网能记住...
php 获取微博cookie,如何获取微博 Cookie
weixin_36488589的博客
03-27 2878
Cookie 是非常重要的东西，切勿将其发给陌生人。如果发现可能被泄漏，请立即退出一切登录设备，或者修改你的账号密码。非常不推荐用 Internet Explorer ：因为IE在Windows的开放性，任何程序都可以通过特定手法直接读取你的指定网站的全部Cookie。安全性非常糟糕，所以，不建议使用IE。技术API信息：从IE里获得Cookie(包括HTTPONLY)Firefox 操作方法：首...
爬虫笔记-cookie登录微博
qq_54152856的博客
02-22 1407
# 适用的场景:数据采集的时候 需要绕过登录 然后进入某个页面 # 个人信息页面时utf-8 但是还报错了编码错误 因为并没有进入个人信息页面 而是跳转到了登录页面 # 登录页面不是utf-8 所以报错 # 什么情况下 访问不成功 # 因为请求头的信息不够 所以访问不成功 import urllib.request url = 'https://weibo.com/u/7520422345' headers = { # cookie中携带着你的登录信息 如果登录之后的cooki..
新浪微博批量登录获取cookie
L_huiger的博客
11-19 2946
新浪微博登录批量获取cookie 目的 微博的很多数据在查看的时候是需要用户登录之后才可以的，比如web端的微博关键词搜索翻页，不登录的情况下只能查看第一页，而当请求头中携带登录后的cookie时，可以获得翻页后的数据。 预登录 登录地址：http://my.sina.com.cn/profile/unlogin 在用户输入用户名时会将用户名通过加密，通过地址(https://login.sina.com.cn/sso/prelogin.php?entry=account&callback=si
易语言贴吧采集软件制作教学
08-26
在采集贴吧信息时，可能需要用到`打开URL`、`读取URL内容`等函数来获取网页内容。需要注意的是，由于百度贴吧的动态加载和反爬策略，可能需要模拟浏览器行为，如设置User-Agent、处理Cookie等。 5. **HTML解析** ...
Delphi 网页采集程序 源码
12-09
在网页采集程序中，关键知识点可能包括以下几个方面： 1. **HTTP协议与网络请求**：Delphi的 Indy 或 Wininet 库可以用来发送HTTP请求，获取网页内容。理解HTTP头、GET和POST方法是基础，可能还需要处理Cookie、...
新浪微博通过账户和密码获取cookie
07-08
新浪微博通过账户和密码获取cookie
需要登录才能抓取的新浪微博爬虫例子
12-19
解决新浪微博需要登录，才能抓取的爬虫例子。
Cookie的过期时间设置-附件资源
03-02
Cookie的过期时间设置-附件资源
java web 数据采集系统
08-28
Java Web数据采集系统是一种利用Java技术构建的网络信息获取平台，它主要用于自动化地从Web页面上抓取所需数据。在互联网大数据的时代，数据采集成为分析市场趋势、了解用户行为、优化业务策略的重要手段。本系统...
微博爬虫代码，python爬虫框架
06-07
在IT行业中，Python爬虫框架是数据采集领域的重要工具，尤其在处理社交媒体数据时，如微博。本项目标题“微博爬虫代码，python爬虫框架”揭示了其核心内容：利用Python编写的一个爬虫，用于抓取并分析微博上的用户...
易采数据采集源码
10-08
在PHP中，实现数据采集通常涉及以下几个关键知识点： 1. **HTTP协议**：首先，要了解HTTP（超文本传输协议），它是互联网上应用最为广泛的一种网络协议，用于从万维网服务器传输超文本到本地浏览器的传输协议。在...
java微博 12 cookie
m0_60071324的博客
07-02 220
会话跟踪:一种维护浏览器状态的方法，服务器需要识别多次请求是否来自于同一浏览器，以便在同一次会话的多次请求间==共享数据==。为什么现在浏览器和服务器不支持数据共享呢?浏览器和服务器之间使用的是HTTP请求来进行数据传输HTTP协议是==无状态==的，每次浏览器向服务器请求时，服务器都会将该请求视为==新的==请求HTTP协议设计成无状态的目的是让每次请求之间相互独立，互不影响请求与请求之间独立后，就无法实现多次请求之间的数据共享会话跟踪实现方式有:(1)客户端会话跟踪技术：==Cookie==(2)服务端
2021-09-28 微博扫码登录获取cookie，附带账号密码js逆向解密过程
tiebanggg的博客
09-28 4953
一、前言 作者：tiezhu 本人和账号作者是朋友，以后将会公用此账号发布文章，也是一个学习爬虫的小白 此篇文章仅供学习交流，切勿用于其他用途，否则后果自负！ 二、过程分析 需要使用的库 import base64 import requests import re import os import http.cookiejar as cookielib # import pickle import execjs import time import json from PIL import Image f
有哪几种方法删除cookie
05-26
有以下几种方法可以删除 cookie： 1. 通过设置 cookie 的过期时间为过去的时间：设置 cookie 的过期时间为当前时间之前的一个时间，浏览器会自动删除该 cookie。 2. 使用 JavaScript 删除 cookie：通过设置 cookie...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值