我最近用python和Selenium做了一个webscraper,我发现它很简单。该页面使用ajax调用来加载数据,并初始化我等待一个固定的time_out来加载页面。这工作了一段时间。 之后,我发现硒具有内置函数,WebDriverWait可以使用wait.until()等待加载特定元素。 这使我的webscraper运行得更快。Scrapy - 动态等待页面加载 - selenium + scrapy
问题是,我仍然不满意的结果。我花费了平均每页1.35秒来下载内容。
我试图平行这一点,但时间并没有因为创建如果驱动程序实例(与Chrome或PhantomJS)花费了大部分刮擦时间。
所以我把自己转向了scrapy。 做完教程后,我的解析器已经写好了,我的两个问题是:
1)scrapy是否会自动运行多个url请求?
2)如何设置一个动态超时与scrapy,如硒
3)的WebDriverWait wait.until()如果不存在动态出发时间可用于scrapy,并将该溶液是使用scrapy + selenium,让硒等待内容被加载,使用scrapy真的有什么优势吗?我可以simlply检索数据使用硒选择器,就像我之前使用scrapy
谢谢你的帮助。