用scrapy和selenium爬取ajax加载的页面
使用爬虫爬取数据的过程中经常为遇到ajax加载的页面,比如 豆瓣科幻类电影排行,小米手机详情页这个时候就需要用selenium来模拟浏览器进行自动下拉滑块,用来实现页面加载,再用xpath选取需要爬取的内容代码如下以小米手机详情页为例:1、创建scrapy2、爬虫代码import scrapyclass XqSpider(scrapy.Spider): name = 'xq'...
原创
2019-08-27 22:57:39 ·
838 阅读 ·
1 评论