本文是简易数据分析系列的第8篇，介绍如何使用Web Scraper模拟点击「加载更多」按钮来抓取滚动页面上的数据。以少数派网站热门文章为例，详细讲解了创建sitemap、设置Element click类型的selector以及创建子选择器来抓取作者、标题和点赞数。此外，还补充说明了少数派网站的改版对教程的影响。
这是简易数据分析系列的第 8 篇文章。
原文首发于博客园：简易数据分析 08。
我们在Web Scraper 翻页——控制链接批量抓取数据一文中，介绍了控制网页链接批量抓取数据的办法。
但是你在预览一些网站时，会发现随着网页的下拉，你需要点击类似于**「加载更多」**的按钮去获取数据，而网页链接一直没有变化。
所以控制链接批量抓去数据的方案失效了，所以我们需要模拟点击**「加载更多」**按钮，去抓取更多的数据。
今天我们讲的，就是利用 web scraper 里的 Element click 模拟点击「加载更多」，去加载更多的数据。
这次的练习网站，我们拿少数派网站的热门文章作为我们的练习对象，对应
最低0.47元/天 解锁文章
3243
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
