微博爬虫 非登录获取

已于 2024-06-05 17:00:03 修改
阅读量40 收藏
点赞数
分类专栏： python逆向 文章标签： 爬虫 python 微博 cookie
于 2021-12-14 19:07:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41367883/article/details/121937260
版权

某博现在大部分人都是做的M端 或者是.cn的
但是发现通过PC的web去找M端的id很费劲
如果看pc是没问题的有数据 但是如果我去找此人数据 需要拿到m端的user_id
在这里插入图片描述

如果我直接点以m端的UA 去访问 是不能自动跳转的 因为现在url上的id只是wei_hao
在这里插入图片描述
如果我想部署一套自动化的 直接通过某博pc端的地址去拿用户信息怎么办 找到接口
在这里插入图片描述
在这里插入图片描述
这个接口就可以把我们能看到的weihao 转化成真实id 并且拿到该用户的信息
这样就可以访问m端的数据了 （比如说想要该用户的全部微博信息的话 还是M端方便 PC也可以完成但是每次都需要生成ck，速度比较慢）
在这里插入图片描述

那么现在只要请求该接口就能拿到id了
现在请求发现 如果不带cookie 请求返回200 但是给的只是html的跳转信息
在这里插入图片描述
此处省略N个步骤，我们就拿到了生成ck的代码 带上我们生成的ck 就可以拿到信息了（如果需要如何拿到的请私信我）
在这里插入图片描述

supersonging
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
微博爬虫“免登录”技巧详解及Java实现
weixin_34010949的博客
09-19 1379
本文源地址：http://www.fullstackyang.com/...，转发请注明该地址或segmentfault地址，谢谢！ 一、微博一定要登录才能抓取？ 目前，对于微博的爬虫，大部分是基于模拟微博账号登录的方式实现的，这种方式如果真的运营起来，实际上是一件非常头疼痛苦的事，你可能每天都过得提心吊胆，生怕新浪爸爸把你的那些账号给封...
weiboPicDownloader:一个使用Electron-Vue编写的免登录下载微博图片的桌面爬虫应用
03-12
微博图片下载器 一个使用Electron-Vue + ElementUI构建的免登录下载微博图片的桌面爬虫应用； 安装方法 ①压缩包方式安装 下载右侧对应平台的发行包，解压缩即可； ②源码编译 克隆本项目： git clone git@github.com:JasonkayZK/weiboPicDownloader.git 使用yarn或npm安装依赖： npm install 或 yarn install 编译本项目： # 编译对应平台： npm run build 也可以修改package.json中的配置，如在scripts中添加一条： { " scripts " : { " build " : " node .electron-vue/build.js && electron-builder " , " build:win " : " node .el
了解Cookie登录：原理、实践与安全指南
最新发布
Innocence_0的博客
06-27 957
当你首次登录网站时，你会输入用户名和密码。在后台，网站的服务器验证这些凭据是否正确。一旦确认你的身份无误，服务器就会创建一个Cookie，并将其发送到你的浏览器。这了解Cookie登录：原理、实践与安全指南个Cookie包含了一个独特的身份验证令牌，它代表了你的登录会话。而这个包含用户一些信息的小型数据片段，就是Cookie。A1:Cookie登录是一种基于Web的认证机制，它使用小型数据文件（即Cookie）来存储用户的登录信息。
python爬虫之免扫码登录实现疫情相关微博文章以及评论的获取（三）
weixin_43275787的博客
07-15 559
以下内容主要实现爬取疫情专题热门文章的评论过程 1、需求分析 热门文章对应的评论字段：评论用户id，评论用户名，评论用户地址，评论用户性别，用户评论，评论时间，文章id
需要登录才能抓取的新浪微博爬虫例子
12-19
解决新浪微博需要登录，才能抓取的爬虫例子。
微博数据采集，微博爬虫，微博网页解析，完整代码（主体内容+评论内容）
热门推荐
bigcrab的博客
09-12 1万+
2024/06/18更新：参加新闻比赛，需要获取大众对某一方面的态度信息，因此选择微博作为信息收集的一部分以华为发布会这一热搜为例子，我们可以通过开发者模式得到信息基本都包含在下面的 div tag中 我们通过网络这一模块进行解析，发现信息基本都存储在 %23 开头的请求之中，接下来分析一下响应内容 这里可以看出响应内容为html格式，因此我们可以用xpath或者css来进行解析，这里我们使用BeautifulSoup来解析，解析代码如下： 我们可以获得如下结果：
Python微博爬虫，批量获取指定账号数据
06-17
在实现微博爬虫的过程中，我们首先需要处理的是模拟登录。登录通常涉及发送HTTP请求，携带必要的登录信息（如用户名、密码）到登录接口。在Python中，我们可以使用requests库来完成这个任务。为了安全起见，我们需要...
R语言微博爬虫RWEIBO
11-14
《R语言微博爬虫RWEIBO：深入解析与应用》 在当今大数据时代，社交媒体数据的挖掘与分析成为了一种重要的信息获取手段。R语言以其强大的统计分析和图形绘制功能，深受数据科学家喜爱。而RWEIBO，作为R语言针对中国...
新浪微博爬虫，用python爬取新浪微博数据
02-07
本程序需设置cookie来获取微博访问权限，后面会讲解如何获取cookie。如果不想设置cookie，可以使用免cookie版，二者功能类似。 爬取结果可写入文件和数据库，具体的写入文件类型如下： txt文件（默认） csv文件...
python新浪微博爬虫
11-15
本程序需设置cookie来获取微博访问权限，后面会讲解如何获取cookie。如果不想设置cookie，可以使用免cookie版，二者功能类似。 爬取结果可写入文件和数据库，具体的写入文件类型如下： txt文件（默认） csv文件...
最新新浪微博爬虫程序Java版 2015
02-10
标题中的“最新新浪微博爬虫程序Java版 2015”揭示了这是一个使用Java编程语言编写的网络爬虫，主要用于抓取新浪微博上的数据。爬虫是自动化获取网页信息的工具，对于数据分析、市场研究和社交媒体监控等领域具有...
自动获取cookie，爬取新浪微博热门评论
travel_Capsule的博客
07-13 748
目录 一、前言 二、代码 一、前言 前几天突然想爬一爬微博的热门评论玩，就间断地挤出来了一点时间写了一个简略版。 最大的难点是新浪的访客机制，导致无法直接用requests爬取，需要先在cookie上下功夫，但是又不想花太多时间去破解，于是决定用selenium先模拟一下，获取cookie之后再通过requests爬取。 程序已打包成exe，需要的同学可以下载体验，压缩包内有运行...
Python爬虫实战(三) 免登录爬取东野圭吾超话——看看你喜欢的书上榜没？
shine4869的博客
03-31 5162
        微博爬虫可以不借助selenium，直接用Chrome下的手机端模式打开，找到其封装的json数据，即可爬取，具体步骤如下。 分析过程         以东野圭吾超话为例，网址为微博超话。进入页面后，使用Chrome浏览器的...
python爬虫之免扫码登录实现疫情相关微博文章以及评论的获取（二）
weixin_43275787的博客
07-15 532
以下内容主要实现爬取疫情专题热门文章的过程 1、需求分析 登录微博之后，搜索疫情关键字后，跳转到相应的疫情专题界面，通过高级搜索选择热门以及先大致定一下时间范围(2020-01-01到2020-01-02)，然后我想选取评论数大于500的微博文章作为我这次的数据集合，同时总的时间范围为2020-01-01到至今 2、具体实现过程 2.1、模块的导入 import requests import urllib import base64 import time import re import csv i
新浪微博爬虫（无需模拟登陆）
Nick12138_2017的博客
02-24 7689
环境： 浏览器： chrome 64 python 3.6 ps：python新手，写得不好求轻喷 ps：这是更加纯净的微博内容页面 思路步骤： 打开微博移动端网址并登录， 如 找到目标人物的微博，并按F12打开开发者模式，找到Network选项卡，勾选preserve log，类型选择XHR，下拉页面直至加载下一页，发现XHR中多了几项文件，打开图中的URL，如图...
四．爬虫--破解新浪微博登录加密
weixin_35762183的博客
03-21 7757
工作不忙，研究了新浪微博的登录． 肯定是先抓包，得到登录的url为http://login.sina.com.cn/sso/login.php?client=ssologin.js(v1.4.18) 然后输入用户名，密码，在点击登录之前，我们可以在chrome浏览器上给Mouse的click设置一个断点，这样，方便debug我们点击登录按钮的时候，网站会对我们输入的内容作了哪些操作． 通过反复的的...
微博简单的免登陆获取
wc199422的博客
04-15 7600
这个记录一下，简单web端的登陆有空贴上来。此处是从浏览器手机一面走的。仅供参考 phone_url="***********&page={0}".format(h) header={ "User-Agent":"*********", } req=requests.get(url=phone_url,headers=...
微博爬虫中级篇——商业接口（无须cookie）
缘染白的博客
08-01 1472
一、前言 博客，这东西写起来是真的麻烦。博主语文特不好，什么语句、语义不通之类的，是常有的。请务必不要在意。如果，有什么问题可以在底下留言，或者私信我索要联系方式。另外，博主常年混迹java吧，在那肯定能找到我，贴吧ID：ZSsanguosha 。 转载，保留“全尸”就可以了，标明出处和作者，,其余随意。以上 博主邮箱的绑定了数据库预警系统，一响就代表采集系统崩了，已经响出阴影了。所以别问我要...
python 微博爬虫
09-16
Python微博爬虫是一种利用Python语言编写的程序，通过使用相应的Python库进行网页爬取和数据提取的过程。在进行Python微博爬虫之前，你需要导入一些必要的库，如re、requests和beautifulsoup。re模块用于通过正则...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值