Scrapy:b站爬虫之抓包过程

最新推荐文章于 2024-07-06 23:16:57 发布
最新推荐文章于 2024-07-06 23:16:57 发布
阅读量1k 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45938100/article/details/104357766
版权
本文详细介绍了使用Scrapy爬取B站数据的过程，包括抓包分析点赞、投币、收藏、在线观看人数以及弹幕内容的方法。通过分析API接口和WebSocket数据，揭示了如何获取动态变化的在线人数，并解析弹幕信息。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Scrapy:b站爬虫之抓包过程

一、内容说明

一共爬取八个数据，可分为四项：
1、标题（直接xpath，不用抓包）
2、点赞、投币、收藏
3、在线观看人数
4、弹幕内容、时间、发送时间

二、抓包过程

1、点赞，投币，收藏

1、获取信息源：
用xpath试过之后，发现无法获取，推测是api内容
2、尝试获取api接口：
F12，netwoek下ctrl+f搜索转发的数量（上热门的一般就转发量比较少）在这里插入图片描述
3、进一步验证：
打开该api接口网址
获得数据：{“code”:0,“message”:“0”,“ttl”:1,“data”:{“aid”:89348202,“bvid”:"",“view”:1404996,“danmaku”:9684,“reply”:10236,“favorite”:39972,“coin”:166225,“share”:4815,“like”:240516,“now_rank”:0,“his_rank”:0,“no_reprint”:1,“copyright”:1,“argue_msg”:

最低0.47元/天 解锁文章
wsw1055
关注
【Python爬虫必备—＞Scrapy框架快速入门篇——上】
孤寒者的博客
08-09 64万+
【Python爬虫必备—＞Scrapy框架快速入门篇——上】
【一】python3+Scrapy：爬虫框架问题合集 【参考转载大佬文章 + 自己解决方法】
莲君子的博客
05-03 4492
因为安装了推荐的Notepad++ keymap扩展，卸载就可以了。
scrapy的高级网络抓取
eqwaak0的博客
03-22 916
我们的第一个请求得到一个被忽略的响应，然后一切都关闭了，因为我们只用一个 URL 播种了爬网。即使在没有会话历史记录的隐身模式下，相同的请求在 Web 浏览器中也能正常工作，因此这必须是由请求标头中的某些差异引起的。我们这个方法生产字典，并且类型自动与请求区分开来。来比较两个请求的标头，但这里有一个常见的罪魁祸首，我们应该首先检查：用户代理。我们对一个页面的爬取一般都会有【标题，URL，大小，内容，评论】。我们会发现到其它页面的所有链接，回到响应对象。创建一个使用以下内容命名的文件。
Scrapy实战之App抓包爬虫
lixinkuan的博客
02-15 1103
1. items.py class DouyuspiderItem(scrapy.Item): name = scrapy.Field()# 存储照片的名字 imagesUrls = scrapy.Field()# 照片的url路径 imagesPath = scrapy.Field()# 照片保存在本地的路径 2. spiders/douyu.py impor...
Python爬取B站视频 抓包过程分享
Python栈_基的博客
01-18 2105
我们使用.title.string属性来获取页面的标题，使用.find(‘div’, {‘class’: ‘desc’}).text属性来获取页面的描述，使用.find(‘a’, {‘class’: ‘download’}).get(‘href’)属性来获取视频的链接。Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。在这个例子中，我们将使用一个公开的代理服务器，你可以根据需要选择或创建自己的代理服务器。
爬虫——Scrapy框架案例一：手机APP抓包
weixin_30641465的博客
07-30 235
以爬取斗鱼直播上的信息为例： URL地址：http://capi.douyucdn.cn/api/v1/getVerticalRoom?limit=20&offset=0 爬取字段：房间ID、房间名、图片链接、存储在本地的图片路径、昵称、在线人数、城市 1.items.py # -*- coding: utf-8 -*- # Define here the models ...
75 爬虫 - Scrapy案例（手机App抓包爬虫）
阿甘兄
09-02 544
1. items.py class DouyuspiderItem(scrapy.Item): name = scrapy.Field()# 存储照片的名字 imagesUrls = scrapy.Field()# 照片的url路径 imagesPath = scrapy.Field()# 照片保存在本地的路径 2. spiders/douyu.py import scr...
MOOC_Scrapy:中国大学MOOC Scrapy 爬虫
05-05
主要目的是写一个走Ajax接口的爬虫练手（和交作业:sad_but_relieved_face:，初期的测试都是从零开始查看XHR信息，再fiddler抓包和模拟POST，测试完成再开写。 可视化试了 和 ，都各有各的优缺点，dash的页面写的真的...
Scrapy爬虫框架详解（python）
最新发布
vbgesab的博客
07-06 1982
Scrapy，Python开发的一个快速,高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和。Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持。Scratch，是抓取的意思，这个Python的爬虫框架叫Scrapy，大概也是这个意思吧，就叫它：小抓抓吧。
81 爬虫 - Scrapy案例（通过Fiddler进行手机抓包）
阿甘兄
09-02 700
通过Fiddler抓包工具，可以抓取手机的网络通信，但前提是手机和电脑处于同一局域网内（WI-FI或热点），然后进行以下设置。 用Fiddler对Android应用进行抓包 1.打开Fiddler设置 2.在Connections里设置允许连接远程计算机，确认后重新启动Fiddler 在命令提示符下输入ipconfig查看本机IP 打开Android设备的“设置”->“WLAN...
python爬虫—爬取b站APP视频信息（通过fiddler抓包工具）
weixin_33709364的博客
05-07 782
1.先看效果图，随便抓的信息 2.解析 ，fiddler抓包工具的配置大家自己百度吧，教程都很详细 3.打开fiddler和模拟器，在模拟器打开哔哩哔哩软件，fiddler我是通过查找分析之后之后过滤的域名 4.我们通过打开b站的相应版块，然后进行往下翻页之后，fiddler就会根据我之前选择过滤的域名给我标黑 5.我们点开其中一条标黑的url，然后和b站软件的进行对比，发现我们需要的信息...
Python抓取框架Scrapy快速入门教程
zoubf的专栏
03-03 2573
Scrapy是一个非常好的抓取框架，它不仅提供了一些开箱可用的基础组建，还能够根据自己的需求，进行强大的自定义。本文对基本用法和常见问题做一个记录。 1、安装 Scrapy虽然是python的模块，但是依赖包比较多，所以我推荐使用apt安装： Python 1sudo apt-g
Python scapy抓包程序
u012238787的博客
11-12 3352
尝试使用Python scapy 包中 sniff 函数写个简单的抓包程序，sniff 抓取数据包并写入本地文件
（实战项目一）手机App抓包爬虫
人饭子的博客
11-09 3856
手机App抓包爬虫 1. items.py class DouyuspiderItem(scrapy.Item): name = scrapy.Field()# 存储照片的名字 imagesUrls = scrapy.Field()# 照片的url路径 imagesPath = scrapy.Field()# 照片保存在本地的路径 2. spiders/douyu.p
scrapy简单的使用和抓取程序
之度的博客
02-19 185
http://www.luyixian.cn/news_show_247283.aspx 借 # -*- coding: utf-8 -*- import scrapy from demo.items import MaoyanreyingItem class MaoyanSpider(scrapy.Spider): name = 'maoyan' #allowed_dom...
scrapy 抓取内涵社区
moon的博客
11-01 970
学scrapy有一段时间了，今天就抓取一个段子来总结一下，安装scrapy请参考上一篇。首先在dos命令下创建scrapyscrapy startproject myspider 进入项目里面 创建dos命令下创建scrapy genspider nhsq "nhanshequ.com"这样框架就搭建好了。T:. │ scrapy.cfg │ └─tutorial │ items.py...
Python网络数据抓取（6）：Scrapy 实战
冷冻工厂
05-14 563
我们将抓取亚马逊的图书部分，更具体地说，我们将抓取过去 30 天内发布的书籍。我们现在准备从亚马逊上抓取我们的目标元素。现在，在我们的 parse 方法中，我们将声明一个变量，它将成为 AmazonscraperItem 类的实例。我们将删除 allowed_domains 变量，因为我们不需要它，同时我们将声明 start_urls 到我们的目标 URL。但和往常一样，这不会持续多久，因为亚马逊的反机器人技术将会启动，你的抓取工具将会停止。现在，我们将它们存储在各自的临时物品容器中，这就是我们的做法。
python+scapy 抓包与解析
热门推荐
B0rn_T0_W1n的博客
05-09 8万+
python scapy 抓包 解析
b站视频爬取（未封装）
cute_boy_的博客
05-23 1542
b站视频爬取（未封装） 1、随便选取一个视频进行分析 经过分析得出视频有两部分（一个音频一个视频） 2、代码（将对应的MP3、MP4保存起来） from urllib import request # 为请求添加请求头 opener = request.build_opener() opener.addheaders = [ ('Referer','https://www.bilibili.com/bangumi/play/ep199612?from=search&seid=17094
Fiddler 5.0设置教程：Python爬虫抓包工具使用指南
### 描述知识点：python爬虫抓包工具 #### Python爬虫介绍 Python爬虫指的是使用Python编程语言开发的网络爬虫程序。网络爬虫是一种自动化获取网络数据资源的工具，它通过模拟浏览器请求的方式，从网站上抓取用户感...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值