爬取猫眼十万条评论数据

最新推荐文章于 2024-03-22 08:07:20 发布
最新推荐文章于 2024-03-22 08:07:20 发布
阅读量5.9k 收藏 22
点赞数 1
分类专栏： 爬虫 文章标签： 爬虫 猫眼 评论
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/aleave/article/details/89532340
版权
本文详细介绍了如何通过模拟手机模式和抓取xhr请求来爬取猫眼电影的评论数据。从开启手机模式、定位评论接口、解析评论数据到解决只获取1000条评论的限制，逐步讲解了整个爬取过程。最后，利用当前时间戳和startTime实现遍历直到获取到十万条评论。
摘要由CSDN通过智能技术生成

爬取猫眼十万条评论数据

写在之前

我之前看了一些关于抓包的文章，还以为猫眼的接口都要通过fiddler去抓包，但是我错了，fiddler出了点问题，后来用夜神模拟器去模拟手机，但是一直抓不到想要的包，于是又上网查，终于看到一篇文章说到开发者模式可以直接切换到手机模式

第一步

进入猫眼官网，找到一部电影，或者直接点开链接https://maoyan.com/films/248123

第二步

按下手机模式这个按钮，然后！！！必须再按F5刷新一次，然后就会变成手机模式，只有在手机上才会显示评论数的！！！

第三步

点击查看全部32567条评论，然后一直下滑查看评论，并且要点切换XHR，只看XHR格式文件，不然数据难找，最后找到comment.json，offset这个文件

第四步

查看这个文件的headers，得到URL：http://m.maoyan.com/review/v2/comments.json?movieId=248123&userId=-1&offset=15&l

最低0.47元/天 解锁文章
aleave
关注
专栏目录
大数据采集用Python爬取猫眼电影数据，谈谈思路及代码演示！
**My Coding Family**
07-02 563
ok，以上就是我这期的Bug修复内容啦，如果还想查找更多解决方案，你可以看看我专门收集Bug及提供解决方案的专栏《CSDN问答解答》，都是实战中碰到的Bug，希望对你有所帮助。到此，咱们下期拜拜。码字不易，如果这篇文章对你有所帮助，帮忙给 bug菌 来个，您的支持就是我坚持写作分享知识点传播技术的最大动力。「猿圈奇妙屋」；
爬虫 | Python爬取20000+猫眼影评实战
Python当打之年
09-06 3745
文章目录1. 网页分析2. 数据爬取2.1 构造评论url2.2 字段解析3. 数据保存推荐阅读 大家好，我是 ????【Python当打之年】 上一篇文章 【爬取《白蛇2:青蛇劫起》20000+影评数据分析可视化】中我们根据20000+条猫眼影评分析了观众对国产动漫的一些看法，本期给大家介绍一下如何爬取这20000+数据，希望对你有所帮助，当然也可以在后台回复 –【白蛇2】– 直接获取。 1. 网页分析 网页版的猫眼只能显示有限的评论，APP版本可以看到所有评论，所以我们根据手机版网址来爬取数据。 手
元学习（小、零样本学习）
yunxinan的专栏
11-17 394
四大评测数据集: miniImageNet tieredImageNet Fewshot-CIFAR100 Caltech-UCSD Birds-200-2011
Python爬取猫眼电影《飞驰人生》47858万条评论并对其进行数据分析
最新发布
2401_83621634的博客
03-22 789
性别的不同并没有造成评分很大的区别，男观众和女观众的评分平均分仅仅相差0.35分，“未知性别”人群的评分在两者之间，基本等于男性评分8.53和女性评分8.88的的平均值（8.71）。有些网址，表面看上去，区别就是在于offset（偏移量），但是实际上更改这个数值到1005的时候就爬不到东西了（可能是由于网页内部的设置吧），就是说这么下去我们只能得到1000条评论。其实我一开始是想用豆瓣网的评论的，但是我翻了翻吧，发现“最热评论”只能看到500条，“最新评论”只能显示100条，拿600条数据能分析出个啥。
电影《八佰》猫眼评论数据集17万条
05-15
每条数据包含观众ID、观众昵称、城市、评论内容、评分和评论时间
使用Python抓取猫眼近10万条评论并分析
weixin_30933531的博客
08-21 581
《一出好戏》讲述人性，使用Python抓取猫眼近10万条评论并分析，一起揭秘“这出好戏”到底如何？ 黄渤首次导演的电影《一出好戏》自8月10日在全国上映，至今已有10天，其主演阵容强大，相信许多观众也都是冲着明星们去的。目前《一出好戏》在猫眼上已经获得近60万个评价，评分为8.2分，票房已破10亿。 我们将使用Python抓取猫眼近10万条评论数据，并对获取到的数据进行分析，看看观众对这部...
python实现猫眼电影评论的爬取
weixin_44015396的博客
12-02 2735
直接上代码 import xlrd import requests from lxml import etree import random import jsonpath import json import xlwt import time import datetime import csv import pandas as pd 获取电影名称列表 def get_movie_list(p...
Scrapy爬取猫眼电影评论
kong
10-11 4343
Scrapy爬取猫眼电影评论 文章目录Scrapy爬取猫眼电影评论1、寻找评论接口2、分析接口URL接口URL规律构造URL接口分析JSON参数3、Scrapy代码spiders文件Item文件piplinessettings文件4、爬取结果5、Scrapy-Redis修改爬虫文件修改setting文件进行分布式部署 目标：地址 1、寻找评论接口 将浏览器模式从PC切换为手机 2、分析接口U...
《一出好戏》讲述人性，使用Python抓取猫眼近10万条评论并分析，一起揭秘“这出好戏”到底如何？...
weixin_33826268的博客
08-20 404
黄渤首次导演的电影《一出好戏》自8月10日在全国上映，至今已有10天，其主演阵容强大，相信许多观众也都是冲着明星们去的。目前《一出好戏》在猫眼上已经获得近60万个评价，评分为8.2分，票房已破10亿。 作者本人（汤小洋 ）今天也走进了电影院，对这部电影做了亲身的观看，看完后的感觉是有些许失落的，本以为是喜剧片，结果发现笑点一般，从搞笑的角度来看，不如《西虹市首富》，影片更多的是反映人类本性的一...
电影《哪吒》猫眼评论数据集（21万条）
03-14
电影《哪吒》猫眼评论数据集（21万条） 电影《哪吒》猫眼评论数据集（21万条） 电影《哪吒》猫眼评论数据集（21万条）
爬虫脚本项目源码-爬取猫眼影评
02-27
爬虫脚本项目源码-爬取猫眼影评
《中国医生》值不值得看？Python爬取4w+观影数据告诉你答案
热门推荐
hhladminhhl的博客
07-15 3万+
前言 最近一部根据真实事件改编的《中国医生》正在火热上映，感动了无数观众，更获钟南山院士高度评价：“真正体现了中国医生的良心、责任、决心、行动！” 影片以金银潭医院为核心故事背景，将抗疫中各地发生的真人真事浓缩凝练，全景式还原记录了波澜壮阔、艰苦卓绝的抗疫斗争。 网友也对《中国医生》原型展开热烈讨论，关于《中国医生》的话题在多个平台登上热搜，今天我们就通过抓取近3万条评论数据，并对获取到的数据进行分析，看看电影观众们对这部电影的评价究竟如何？ 一、核心功能设计 总体来说，我们需要先从猫眼电影爬取《中国医生》
利用Python爬虫技术爬取京东商品评论
x彭不秃头
07-03 1万+
这是我第一次接触python时，我们学校做的项目实训，其实整个项目实训过程很简单，并没有什么难度，认真学学就会。 首先，我们要明确我们的目标：从京东上爬取产品的评论。一般评论都是进行情感分析，但我还没进行到那一步，只能先进行相关数据爬取下来，然后把爬到的数据以csv或者json格式保存成文件。 其次，找到数据源的京东官网首页，然后点击搜索框填入手机，拿苹果手机举例 由于可以看到我们的评论是动态的，且可能不断更新，我们便在谷歌网页右键，点击检查或者直接F12快捷键，之后就是显示以下这种界面： 点击右上角
爬取猫眼评论，分析《阿丽塔：战斗天使》
DonLex 的博客
02-24 978
文章首发于慕课网 日本漫画《铳梦》改编电影《阿丽塔：战斗天使（Alita: Battle Angel）》于2019年2月22日在中国大陆上映了。近几天，网上对于这部电影的分析评论也很多，今天通过猫眼电影上的评论粗浅地看一下大众对这部科幻电影的评价。 工具库 jieba pyecharts wordcloud matplotlib 分析网站 通过在浏览器模拟移动端请求评论的数据，可以看到随...
猫眼电影爬取
fanhaitao1106的博客
03-30 453
#!usr/bin/env python #-*- encoding:utf-8 -*- import requests import re from requests.exceptions import RequestException from flask import json from multiprocessing import Pool def get_one_page(url): ...
Python爬取猫眼电影榜单评分，以及评论
tdl320721的博客
03-11 4798
猫眼电影评论爬取 【目标】 （1）爬取榜单电影名称以及评分，简单的数据可视化。 （2）爬取《 你好，李焕英》的评论，用词云显示 第一步：了解反爬机制： 请求过多，ip地址会被封掉24h。 User-Agent要频繁更换 第二步：如何避免反爬： 使用虚拟ip（网站：https://h.shenlongip.com/index/index.html，注册可领取500ip）。 引入fake-useragent，配合random函数。 第三步：确定URL地址 （1）猫眼榜单URL： https://maoyan
python爬取猫眼电影评论数据
06-09
好的，您可以使用 Python 中的 requests 和 Beautiful Soup 库来爬取猫眼电影评论数据。以下是一个简单的爬取示例： ```python import requests from bs4 import BeautifulSoup url = 'https://maoyan.com/films/1299372' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'} response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, 'html.parser') comments = soup.find_all('div', {'class': 'comment-content'}) for comment in comments: print(comment.text.strip()) ``` 在这个例子中，我们首先指定了要爬取的电影页面的 URL，并使用 requests 库发送 GET 请求。接下来，我们使用 Beautiful Soup 解析 HTML，找到所有评论的 div 元素，然后打印每个评论的文本。注意，我们在请求中添加了一个 User-Agent 头，以模拟浏览器请求，这是为了避免被服务器拒绝访问。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值