- 博客(1)
- 收藏
- 关注
RSS订阅原创 scrapy 抓取ajax请求的网页-以ifanr为例
在爬取ifanr网站时遇到了无法直接获得下一页链接的地址，下一页的数据是通过点击加载更多之后触发ajax事件来请求数据的。 那么我们按F12来看下网页的结构，可以发现此处并不能够得到我们想要的网址。 那么问题来了，我们如何来处理有ajax请求的网页呢？百度一下可以发现有两种方法，一种是通过虚拟浏览器模仿触发ajax请求的行为；一种是找出ajax请求之后下一页的地址，直接访问该地
2016-03-16 13:38:02
8396
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人