szyyzt的博客

在爬虫中，当前段使用js等技术动态渲染页面时，普通的Request得到的DOC里几乎没有任何有用的价值的。这时需要模拟浏览器的库先完成渲染，我们再进行爬取。python这样的库有很多，如selenium，splash，pyv8，ghost。今天我们先来介绍其中的佼佼者selenium。以Chrome为例 一、浏览器要完成Driver配置 此配置只需三步，一是下载匹配浏览器版本的Chrome.dri...

scrapy中有一个类Item（类似于一个字典），我们在项目中要为爬取到的内容设置一个字段，类似于flask中的Model，不过scrapy设置字段简单，因为没有那么多的字段类型，只简单的声明Field（）即可。FOR EXAMPLE： from scrapy import Item,Field class Price(Item): name=Field() price=Field...