Python爬虫入门教程 33-100 电影评论数据抓取 scrapy

最新推荐文章于 2023-06-10 11:36:11 发布

十一月的萧邦。

最新推荐文章于 2023-06-10 11:36:11 发布

阅读量584

点赞数

分类专栏： python爬虫文章标签： scrapy 爬虫

本文链接：https://blog.csdn.net/weixin_45625815/article/details/104024063

版权

本文介绍了如何使用Python的Scrapy框架来爬取猫眼电影上关于《海王》的评论数据。内容包括对电影的简要介绍、评论摘录，以及Scrapy爬虫的设置步骤，如配置headers、设置抓取条件、定义items和pipelines，最后通过begin.py启动爬虫，将数据保存为CSV文件。

摘要由CSDN通过智能技术生成

1. 海王评论数据爬取前分析

海王上映了，然后口碑炸了，对咱来说，多了一个可爬可分析的电影，美哉~
在这里插入图片描述
摘录一个评论

零点场刚看完，温导的电影一直很不错，无论是速7，电锯惊魂还是招魂都很棒。打斗和音效方面没话说非常棒，特别震撼。总之，DC扳回一分（￣▽￣）。比正义联盟好的不止一点半点（我个人感觉）。还有艾梅伯希尔德是真的漂亮，温导选的人都很棒。
真的第一次看到这么牛逼的电影转场特效都吊炸天

海王案例开始爬取数据
数据爬取的依旧是猫眼的评论，这部分内容咱们用把牛刀，scrapy爬取，一般情况下，用一下requests就好了

抓取地址、交流群：1029344413 分享视频资料

http://m.maoyan.com/mmdb/comments/movie/249342.json?_v_=yes&offset=15&startTime=2018-12-11%2009%3A58%3A43

关键参数

url:http://m.maoyan.com/mmdb/comments/movie/249342.json
offset:15
startTime:起始时间

scrapy 爬取猫眼代码特别简单，我分开几个py文件即可。Haiwang.py

import scrapy
import json
from haiwang.items import HaiwangItem

class HaiwangSpider(scrapy.Spider):
    name = 'Haiwang'
    allowed_domains = ['m.maoyan.com']
    start_urls = ['http://m.maoyan.com/mmdb/comments/movie/249342.json?_v_=yes&offset=0&startTime=0']