scrapy 抓取ajax请求的网页-以ifanr为例

在爬取ifanr网站时遇到了无法直接获得下一页链接的地址，下一页的数据是通过点击加载更多之后触发ajax事件来请求数据的。

那么我们按F12来看下网页的结构，可以发现此处并不能够得到我们想要的网址。

那么问题来了，我们如何来处理有ajax请求的网页呢？百度一下可以发现有两种方法，一种是通过虚拟浏览器模仿触发ajax请求的行为；一种是找出ajax请求之后下一页的地址，直接访问该地址。这里我们采用第二种方法。

选择network-XHR，新出现的请求便是我们需要分析的。

点开可以Request URL得到链接地址：

http://www.ifanr.com/api/v3.0/?action=ifr_latest&callback=jQuery110107388741704635322_1458106436991&offset_featured=1&posts_per_page=28&excerpt_length