微博内容爬取——陈一发儿微博实例

最新推荐文章于 2023-07-04 17:01:42 发布
VIP文章 最新推荐文章于 2023-07-04 17:01:42 发布
阅读量6.7k 收藏 13
点赞数 4
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/r244925932/article/details/81253714
版权

引言

利用Ajax分析微博并爬取其内容如微博内容，点赞数，转发数，评论数等。

分析

打开陈一发微博网站：https://m.weibo.cn/p/1005051054009064，并同时打开开发者工具。
我们可以在Network中分析可以得出，微博中所有的内容都是名为“getIndex?containerid=1076031054009064”的响应
这里写图片描述
经过这其中的JSON代码分析后可以找到内容相对应的位置。
这里写图片描述
我们可以尝试切换到第一个响应中，查看返回的结果，可以看到代码只要不到50行，所以这些数据都是浏览器拿到数据后再进一步渲染出来的。

我们在尝试滚动页面，加载完成后会发现得到了新的响应，这也对应着加载出来的新的微博内容。
通过前后几次Request URL代码的不同来看
这里写图片描述

最低0.47元/天 解锁文章
胡桃夹子cc
关注
  • 4
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
udp一发多收,本机能收到,其它机子收不到
04-04
udp一发多收,本机能收到,其它机子收不到是什么原因?怎么解决
新浪微博爬取全文内容
haihaid的博客
11-06 4319
最近爬了一下新浪微博，去网上看了很多例子，github上也有几个优质的现成可用的，但是对于我来说还是有点庞大了，所以自己摸索了一下写了这个爬虫，主要爬取就两点，文章内容和发布时间，关于文章内容它一部分微博因为篇幅限制有个全文按钮，点击全文才可以看到全部，自己写了个判断，希望对大家有帮助。 这里以镇江发布为例 （顺便说一下，网页版的新浪微博有三个网站，分别是www.weibo.com www.m.weibo.cn www.weibo.cn) 这三个网站简单来说就是一个比一个简陋，我们只...
微博API汇总及 mid和url的转换算法
江风引雨的博客
02-10 1900
微博API 汇总 1. 搜索 m端 [GET] https://m.weibo.cn/api/container/getIndex?containerid=100103type%3D1%26q%3D关键词&page_type=searchall&page=2 weibo.cn（简版） [POST]高级搜索（须登录） http://weibo.cn/search/mbl...
Python爬虫 | 爬取微博和哔哩哔哩数据
天下弈星~的博客
07-04 1万+
利用python爬取b站和微博的一些数据并进行可视化
接口分析--详细解读微博接口获取
懷淰メ的博客
01-07 2647
我的目录微博三个接口的获取1．用户搜索接口（8）用户搜索接口格式2．用户信息、用户微博接口（3）.用户信息接口格式：（4）.用户微博接口格式： 不知不觉2021年了，先祝大家元旦快乐！这段时间有些忙，在学习tk，特地买了一本书来学（《Python GUI设计 tkinter菜鸟编程》），根据书中所学和网上资料，我现学现卖做出了微博图片采集工具GUI版本，下载地址我会放到文章结尾。 本篇文章会详细讲解weibo两个接口的获取以及GUI界面的制作，直接贴给大家源码！ 微博三个接口的获取 以下三个接口的获取都是基
微博内容爬取
weixin_30408165的博客
01-31 1082
在成功获取微博用户的列表之后，我们可以对每个用户的主页内容进行爬取了 环境 tools 1、chrome及其developer tools 2、python3.6 3、pycharm Python3.6中使用的库 1 import urllib.error 2 import urllib.request 3 import urllib.parse 4 i...
微信小程序测试类demo：测一发
03-15
简答的测试类demo 免责声明：本站所有文章和图片均来自用户分享和网络收集，文章和图片版权归原作者及原出处所有，仅供学习与参考，请勿用于商业用途，如果损害了您的权利，请联系网站客服处理。
无线模块nRF24L01一发一收程序
08-30
内带两个程序，一个为发送，一个为接收，使用51单片机模拟SPI通信实现。
一发一收通信示例.md
最新发布
01-05
当涉及到 TCP 通信时，一般有两种常见的通信模式：一发一收和多发多收。
人工智能+一发密苏里1
08-08
一级标题为二号黑体，其他级别标题如有需要，可根据需要设置，标题格式为阿拉伯数字，如第1章的标题写为1.1，1.1.1等；本文档应结构清晰，突出重点，适当配合图表
R语言微博爬虫RWEIBO
11-14
R语言微博爬虫RWEIBOR语言微博爬虫RWEIBOR语言微博爬虫RWEIBO
Node.js-weibo-request利用m.weibo.cn的公开接口读取单条微博数据
08-09
这个库可以解析任意合法的微博状态URL，并将它转化为标准的数据格式输出。
m.微博各种接口分析
热门推荐
李玺
07-22 1万+
1.微博用户搜索接口。 https://m.weibo.cn/api/container/getIndex?containerid=100103type%3D3%26q%3D乐队的夏天%26t%3D0 一般我们搜索目标的知名度是靠前的，这里先暂时以第一个为主。 user_name = weibo_json['data']['cards'][1]['card_group']['user']['sc...
微博动态图片爬取
Deng872347348的博客
03-05 1067
微博动态图片爬取 由于微博的网页端有反爬虫，需要登录，所以我们换个思路，曲线救国。 我们找到微博在浏览器上面用于手机端的调试的APL，如何找到呢？ 我这边直接附上微博的手机端的地址： https://m.weibo.cn/ 步骤1： 模拟搜索用户： 搜索一个用户获取到的api: https://m.weibo.cn/api/container/getIndex?containerid=100103type=1&q=半半子&page_type=searchall 1.1 对api内参数进行
使用selenium自动化工具爬取微博内容和评论
weixin_44134535的博客
11-03 6535
使用selenium自动化测试工具爬取微博用户的微博以及相应的评论
爬取一条微博的所有转发链接
acsyl的博客
10-10 5290
需求分析因朋友需求，需要删除在微博上的一些非法转发，故给出链接的根节点，只查询根节点的第一层节点，并删除第一层节点的所有转发。本人python初学者，有什么写的不好的地方，请指出，与大家一起学习交流。 文章结尾附上完整代码，同时还有详细的说明文档，请自行下载。 前期准备 安装python3x 导入requests、bs4等必须的库 导入命令pip install requests pip in
爬虫爬取微博文字内容——Ajax动态渲染文件的抓取
five_east_west的博客
09-22 1252
Ajax动态分析 待抓取的微博内容： 准备工作：安装好 requests 库、lxml 库 在cmd 中输入 pip install requests pip install lxml 因为我之前已经安装好这两个库，所以在此安装的时候是显示的下图的内容： 分析网页   打开Chrome浏览器，我们进入这个网站：。按 F12 打开开发者模式。 ...
关于python-scrapy框架爬取微博转发的信息
Fitzzzz的博客
08-05 1319
代码请移步GitHub SinaInfoSpider 爬虫的功能： 将转发某条的微博的信息信息爬取下来，主要是转发者转发时的文字内容，转发人的uid, 转发 后的点赞数，以及转发的时间。 同时用到了IP代理，emmm，这里可能需要一笔钱，要是家里有矿就不谈了，家里没矿的买一两天的玩玩也就行了，IP代理见： 无忧代理     p
备忘4：爬取微博热门信息以及所有热门微博转发的用户信息
weixin_40576260的博客
04-05 1297
import requests import os import re import csv import time import json #headers是请求加上头信息，伪装成浏览器访问，不然会被限制 headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like...
C++代码实例Qt线程实现两盒线程一收一发
05-31
以下是一个简单的示例代码，演示了如何使用Qt实现两个线程之间的通信，一个线程用于发送数据，另一个线程用于接收数据。 ``` #include <QtWidgets> #include <QThread> // 数据发送线程 class SenderThread : public QThread { Q_OBJECT public: SenderThread(QObject *parent = nullptr) : QThread(parent) {} signals: void dataReady(const QString &data); protected: void run() override { // 发送数据 for (int i = 0; i < 10; i++) { QString data = QString("Data %1").arg(i); emit dataReady(data); QThread::msleep(500); } } }; // 数据接收线程 class ReceiverThread : public QThread { Q_OBJECT public: ReceiverThread(QObject *parent = nullptr) : QThread(parent) {} signals: void dataReceived(const QString &data); protected: void run() override { // 接收数据 for (int i = 0; i < 10; i++) { QString data = QString("Data %1").arg(i); emit dataReceived(data); QThread::msleep(500); } } }; // 主窗口 class MainWindow : public QMainWindow { Q_OBJECT public: MainWindow(QWidget *parent = nullptr) : QMainWindow(parent) { // 创建发送线程和接收线程 senderThread = new SenderThread(this); receiverThread = new ReceiverThread(this); // 连接信号和槽 connect(senderThread, &SenderThread::dataReady, receiverThread, &ReceiverThread::dataReceived); // 启动线程 senderThread->start(); receiverThread->start(); } private: SenderThread *senderThread; ReceiverThread *receiverThread; }; int main(int argc, char *argv[]) { QApplication app(argc, argv); MainWindow window; window.show(); return app.exec(); } #include "main.moc" ``` 在这个示例中，我们创建了一个 `SenderThread` 类和一个 `ReceiverThread` 类，分别用于发送和接收数据。这两个线程都定义了一个信号，用于在数据准备好时发出通知。在主窗口中，我们创建了这两个线程的实例，并将它们的信号和槽连接起来。这样，当 `SenderThread` 发送数据时，它会发出 `dataReady` 信号，然后 `ReceiverThread` 就会接收到这个信号，并调用 `dataReceived` 槽来接收数据。最后，我们启动了这两个线程，并且在主窗口中显示出来。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值