网页数据分页怎么显示在一个页面_Web Scraper 翻页——利用 Link 选择器翻页 | 简易数据分析 14

这是简易数据分析系列的第 14 篇文章。本文首发于博客园：Web Scraper 翻页——利用 Link 选择器翻页

今天我们还来聊聊 Web Scraper 翻页的技巧。

这次的更新是受一位读者启发的，他当时想用 Web scraper 爬取一个分页器分页的网页，却发现我之前介绍的分页器翻页方法不管用。我研究了一下才发现我漏讲了一种很常见的翻页场景。

在 web scraper 翻页——分页器翻页的文章里，我们讲了如何利用 Element Click 选择器模拟鼠标点击分页器进行翻页，但是把同样的方法放在豆瓣 TOP 250 上，翻页到第二页时抓取窗口就会自动退出，一条数据都抓不到。

其实主要原因是我没有讲清楚这种方法的适用边界。

通过 Element Click 点击分页器翻页，只适用于网页没有刷新的情况，我在分页器那篇文章里举了蔡徐坤微博评论的例子，翻页时网页是没有刷新的：

仔细看下图，链接发生了变化，但是刷新按钮并没有变化，说明网页并没有刷新，只是内容变了

而在 豆瓣 TOP 250 的网页里，每次翻页都会重新加载网页：

仔细看下图，链接发生变化的同时网页刷新了，有很明显的 loading 转圈动画