Python爬虫-蝉妈妈热门视频榜单

最新推荐文章于 2025-03-18 22:50:57 发布
最新推荐文章于 2025-03-18 22:50:57 发布
阅读量1.8k 收藏 1
点赞数
分类专栏： 爬虫实战进阶 文章标签： python 爬虫 开发语言 cookie requests
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Leexin_love_Ling/article/details/129545582
版权
本文介绍了如何使用Python爬虫获取蝉妈妈平台上的热门视频榜单数据。通过分析请求参数，发现需要登录后的cookie来获取数据。文章提供了一段测试代码，并强调在headers中加入cookie后才能成功获取数据。最后，完整代码将数据保存在本地CSV文件video.csv中，提醒读者使用自己的cookie进行替换。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

前言

本文是该专栏的第38篇，后面会持续分享python爬虫干货知识，记得关注。

通过蝉妈妈查看视频榜单数据的前提，首先需要账号登录才能正常看到榜单数据。榜单如下：

下面以热门视频榜为例，跟着笔者直接往下看。

正文

1. 参数分析

进入榜单页面之后，直接Ctrl+Shift+I快捷键启动开发者工具。将鼠标滑动最底部，并点击加载更多按钮，会看到右侧一栏出现如下信息，如下：

了解本专栏 订阅专栏 解锁全文
【爬虫】JS逆向解决蝉妈妈加密参数data
weixin_42108731的博客
04-13 915
js逆向的步骤不难，主要是以下六点： 打开调试模式 找到目标接口以及加密参数 找到加密参数所在js文件 找到加密参数位置 打上断点，刷新页面进行调试 找到加密的算法，判断是Python改写还是Python调用js文件方式实现
【Python百日进阶-Web开发-Feffery】Day413 - fac实例：复刻蝉妈妈网站数据指标卡
专注于医院数据分析技术与系统开发的创作与分享。
07-09 406
文章目录前言：fac是什么？“人生苦短，我用Python；Web开发，首选Feffery！”↓↓↓ 今日笔记 ↓↓↓一、复刻蝉妈妈网站数据指标卡1.1 页面效果1.2 项目源码二、相关知识 前言：fac是什么？ feffery-antd-components（简称fac），是国内大佬费弗里(Feffery)老师基于著名的React UI组件库ant design进行二次开发，将ant design中的诸多实用组件及特性引入Dash，帮助开发者使用极低的纯Python代码量，即可快速开发出现代化的交互式w
爬取蝉妈妈数据平台商品数据
qq_39483957的博客
05-21 7099
本文旨在交流学习，勿作他用，否则后果自负 环境 linux+pycharm+anaconda import json import csv import requests from usere_agent import UA from requests.packages.urllib3.exceptions import InsecureRequestWarning requests.packages.urllib3.disable_warnings(InsecureRequestWarning) he
某蝉search返回data解密
qq_33239778的博客
09-06 269
【代码】某蝉search返回data解密。
一起学爬虫（Python） — 21 蝉妈妈，嘿嘿
小泽
12-28 8102
一起学爬虫（Python） — 19 年轻人，进来学自动化 这里呢，还是宣传一下这个跟自动调试有关系的一篇博客，为什么呢，因为她能帮你们自动给我的博客点赞！！！ 诶嘿嘿，各位一定不会想白嫖吧。 蝉妈妈，嘿嘿前言蝉妈妈何为蝉妈妈今天的目标了解一下cookies了解一下蝉妈妈开冲全部代码结尾 前言 经过两到三天的咕咕咕，小泽发现这个浏览量是蹭蹭蹭的往上涨，顿时变得无比纳闷，为什么我不勤奋更新了反而看的人变多了呢… 难道… 这是大家在用事实告诉我，更新是错误的，咕咕咕才是我应该做的吗！ 带师，我悟了。 当然，
爬虫——有关抖音商品数据的爬取（蝉妈妈数据平台）
weixin_56263155的博客
08-26 1万+
总体代码运用了selenium自动化模块，能够有效地应对平台的反爬机制，从而有效地获取到网页的数据，但又由于使用的是selenium自动化模块，所以总体的代码运行效率不是很高，耗时长。整个数据预处理总体上使用了excel的功能，虽有效地解决了要解决的问题，但有些处理过程并不简单有效率，预处理只做了剔除重复值，删除空白字段，和对销售区间进行等级映射赋值，还有其他的预处理过程并未进行，使得数据格式或有效程度未达到最大。
蝉妈妈主播数据获取
qq_44902227的博客
07-17 1495
粉丝人数接口aHR0cHM6Ly9hcGktc2VydmljZS5jaGFubWFtYS5jb20vdjEvZG91eWluL2xpdmUvcm9vbS9tdWx0aS9jaGFydA==本文章中所有内容仅供学习交流，抓包内容、敏感网址、数据接口均已做脱敏处理，严禁用于商业用途和非法用途，否则由此产生的一切后果均与作者无关，若有侵权，请联系我立即删除！进入直播场次，点流量分析，本次目标是，获取每场直播的在线人数，进场人数，福袋，讲授商品，以及对应的时间点（按每分钟）获取董先生最新直播7天的数据。...
Python爬虫-懂车帝城市销量榜单
Python进阶专栏《爬虫实战进阶》，《数据分析入门与实战》原创作者
03-31 1000
本文是该专栏的第23篇，后面会持续分享python爬虫干货知识。最近粉丝留言咨询某汽车平台的汽车销量榜单数据，本文笔者以懂车帝平台为例，采集对应的城市汽车销量榜单数据。具体的详细思路以及代码实现逻辑，跟着笔者直接往下看正文详细内容。（附带完整代码）
Python爬虫-微博三榜
01-12
先输入地址，在指定位置生成csv文件。可一次性爬取三个榜单：热搜榜（包括：排名，词条，类型，热度，网址）、文娱榜（同上）、要闻榜（包括：排名，主题，出处，类型，简介，阅读量，讨论量，网址）
python3-爬虫---猫眼电影榜单爬虫实战
weixin_46863267的博客
08-22 1230
猫眼电影榜单爬虫实战 文章目录猫眼电影榜单爬虫实战一、观察目标网页特征二、爬虫程序三、结果展示四、总结 一、观察目标网页特征 1.1. 观察下猫眼电影网站及其代码。传送门：猫眼网站首页 1.2. 选择【榜单】页面，可以看到有五个榜，分别是【热映口碑】，【最受期待】，【国内票房】，【北美票房】和【TOP 100】，基本上根据自己的需求来选择哪个榜单，每个榜单信息的主要差异在于显示的是评分，想看人数还是票房。【这里选择TOP 100 榜进行实战分析，对应的网页链接记得自己查看当前的URL】 猫眼电影-榜单-T
Python爬虫-爬取汽车之家燃油车月销量榜数据
最新发布
Python进阶专栏《爬虫实战进阶》，《数据分析入门与实战》原创作者
03-18 298
本文是该专栏的第48篇，后面会持续分享python爬虫干货知识。在本文中，笔者已整理18篇汽车平台相关的爬虫项目案例。对此感兴趣的同学，可以直接翻阅查看。而本文，笔者将以汽车之家平台为例子。基于Python爬虫，实现批量爬取全部“燃油车”的月销量数据。废话不多说，具体实现思路和详细逻辑，笔者将在正文结合完整代码进行详细介绍。接下来，跟着笔者直接往下看正文详细内容。（附带完整代码）
Python——各类品牌库爬虫Demo
无限迭代中......
06-25 1631
源代码：https://gitee.com/shentuzhigang/mini-project/tree/master/brand-crawler 得物 蝉妈妈-抖音 平台限制只能取到前10000 Python2 Python3 爱库存 版本一 版本二 保存到xlsx 解决乱码问题
python加密与解密_Python加密与解密,pythonCrypt,和
weixin_39654322的博客
12-20 402
from Crypto.Cipher import AESclass DeAesCrypt:"""AES-128-CBC 加/解密, Padding ZERO模式"""def __init__(self, data, key, pad):""":param data: 加密后的字符串,或者需要加密的字符串:param key: 随机的16位字符:param pad: 填充方式"""self.key...
爬虫项目（九）：使用Selenium抓取CSDN热榜数据
全栈川川
10-07 517
抓取csdn热榜数据
数据爬取与筛选
ll_intelligence的博客
08-04 951
数据爬取与筛选
5款类蝉妈妈抖音数据工具推荐
热门推荐
cnmjwz的博客
09-24 1万+
担心蝉妈妈数据不准怎么办？作为一个在电商培训行业摸爬滚打10多年的老兵，大头今天给大家推荐其它五个类似蝉妈妈的抖音数据分析网站。 一、飞瓜数据 飞瓜比蝉妈妈做的更早，抖快，B站、小红书、淘宝、微博等主流平台均有产品线，规模很大。飞瓜比较注重产品实用性，迭代勤快，基本每周都有不少新功能上线，数据准确度也高。不过，他们家的定价门槛相当点高，而且基本不做活动。相比蝉妈妈，更多是一些主流大企业在用，如果是小商家或个人可能需要斟酌下。 二、卡思数据 卡思也是一个比较知名的平台，主要是为视频客户在节目创作和用户运营方面
Selenium打开页面，出现弹窗需要登录账号密码，怎么解决？
Python进阶专栏《爬虫实战进阶》，《数据分析入门与实战》原创作者
08-27 6744
有时候，遇到需要登录账号密码的情况，无疑会想到用selenium。用selenium打开普通页面，其实都非常简单，但是你有没有遇到过这样的情况呢？
python爬虫|爬取亚马逊商品库存数据(Selenium实战)
Python进阶专栏《爬虫实战进阶》，《数据分析入门与实战》原创作者
11-23 6477
前言 很多人把selenium爬虫称之为可视化爬虫，之所以这样认为，主要在于selenium爬虫主要是模拟人的点击操作，而selenium驱动浏览器并进行操作的过程是可以观察到的。换言之，就是你在看着别人在帮你操纵你的电脑，类似于别人远程使用你的电脑，需要提到的是，selenium也有无界面模式。 下面，直接进入正文，以亚马逊商品数据为例，获取商品的当前库存数据。 正文 想要获取亚马逊的库存数据，那就需要先明白，亚马逊商品的库存数据是怎么获得的。 1.打开商品界面之后，需要先点击加入购物车.
Python如何解决“快手滑块验证码”(4)
Python进阶专栏《爬虫实战进阶》，《数据分析入门与实战》原创作者
01-18 5470
很多时候，我们打开一个页面还没开始进行浏览，就跳出一个滑块验证的图片，需要拖到滑块至缺口处，才可以正常浏览。这对于我们正常人浏览页面来说，几乎没什么难度，但是当我们需要用到脚本去实现的时候，比如自动化操作或者爬虫，那就明显提升了一点难度。可能有同学会注意到，运行上述代码之后，就可以查看每一个视频，后面有时间会单独再分享如何拿到这些视频数据，感兴趣的同学，可以提前关注一下。获取这两张图片，可以通过selenium的xpath方法，把图片的src获取到即可，然后下载保存到本地。
python爬虫爬取b站视频热门榜单
06-29
Python爬虫用于抓取网页数据，哔哩哔哩（B站）上的视频热门榜单可以通过网络请求获取其HTML内容，然后解析HTML结构来提取所需信息。以下是一个基本的步骤概述： 1. **库准备**：使用Python的requests库发送HTTP请求，获取B站的HTML页面；BeautifulSoup或lxml库用于解析HTML。 ```python import requests from bs4 import BeautifulSoup ``` 2. **发送请求**： - 使用`requests.get()`获取B站的热门视频URL，通常这些数据会定期刷新，你可以先找到API接口，但公开的可能有限制。 3. **解析HTML**： - 使用BeautifulSoup解析HTML文档，查找包含视频信息的部分，如标题、链接、播放量等。 ```python soup = BeautifulSoup(response.text, 'html.parser') hot_videos = soup.find_all('div', class_='video-item') # 示例：假设热门视频在CSS类为'video-item'的元素中 ``` 4. **数据提取**： - 遍历解析出的HTML元素，提取每个视频的相关数据，例如使用`div['data-video']`获取视频ID。 5. **存储数据**： - 将数据存储到本地文件，列表、字典或其他数据结构中，或者直接上传到数据库。 ```python data = [] for video in hot_videos: video_id = video['data-video'] title = video.find('a')['title'] view_count = video.find('span', class_='stat-view').text data.append({'id': video_id, 'title': title, 'view_count': view_count}) ``` 6. **处理可能的问题**： - 考虑反爬策略，可能需要设置用户代理、处理验证码、限制请求频率等。 7. **错误处理**： - 添加适当的错误处理代码，比如处理网络错误、解析错误等。 ```python try: # 爬虫代码... except requests.exceptions.RequestException as e: print(f"请求失败: {e}") except Exception as e: print(f"解析失败: {e}") ```
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

写python的鑫哥

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值