爬虫系列(五)--爬取商城评论数据
这篇标题是爬取评论数据,实际上是一种类型的数据爬取。比如网页的下拉加载数据,使用js动态加载的数据。这类数据有一些爬取起来会比较麻烦,可能要深入分析目标页面运行机理。
迟迟没有写这个,原因是图片太多,步骤会多一点,有些麻烦。不过不用担心,这些步骤很简单,操作两次就熟悉起来了。也许你刚开始会觉得这一篇爬取数据的方式和之前很不一样,到最后你会惊奇的发现,这一篇内容和前面的内容没有什么差别,本质都是一样的。
1.打开某商城网站
建议用相同的商城网站,不同网页可能会有区别。我使用的是谷歌浏览器,强烈建议保持一致。
2.点开一个商品页面
任意一个商品即可,这里打开的是一本书。本来想打开一个让人想入非非的商品页面,担心被女同志,小学生看到。只好打开一本书了。如果你愿意,可以打开一个不能说的商品页面,但必须有评论。因为我们要抓取评论数据,特殊商品买家可能不好意思评论的。