1. 海haiking王评论数据爬取前分析
海haiking王上映了,然后口碑炸了,对咱来说,多了一个可爬可分析的电影,美哉~
2. 海haiking王案例开始爬取数据
数据爬取的依旧是猫xxx的评论,这部分内容咱们用把牛刀,scrapy
爬取,一般情况下,用一下requests
就好了
抓取地址
http://m.Python地址脱敏.com/mmdb/comments/movie/249342.json?v=yes&offset=15&startTime=2018-12-11%2009%3A58%3A43
关键参数
url:http://m.Python地址脱敏.com/mmdb/comments/movie/249342.json
offset:15
startTime:起始时间
scrapy 爬取猫xxx代码特别简单,我分开几个 py 文件即可。
Haiwang.py
import scrapy
import json
from haiwang.