scrapy html页面加载未完成,Scrapy - 动态等待页面加载 - selenium + scrapy

我最近用python和Selenium做了一个webscraper,我发现它很简单。该页面使用ajax调用来加载数据,并初始化我等待一个固定的time_out来加载页面。这工作了一段时间。 之后,我发现硒具有内置函数,WebDriverWait可以使用wait.until()等待加载特定元素。 这使我的webscraper运行得更快。Scrapy - 动态等待页面加载 - selenium + scrapy

问题是,我仍然不满意的结果。我花费了平均每页1.35秒来下载内容。

我试图平行这一点,但时间并没有因为创建如果驱动程序实例(与Chrome或PhantomJS)花费了大部分刮擦时间。

所以我把自己转向了scrapy。 做完教程后,我的解析器已经写好了,我的两个问题是:

1)scrapy是否会自动运行多个url请求?

2)如何设置一个动态超时与scrapy,如硒

3)的WebDriverWait wait.until()如果不存在动态出发时间可用于scrapy,并将该溶液是使用scrapy + selenium,让硒等待内容被加载,使用scrapy真的有什么优势吗?我可以simlply检索数据使用硒选择器,就像我之前使用scrapy

谢谢你的帮助。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
当使用 ScrapySelenium 结合进行网页动态加载数据的爬取时,可以按照以下步骤进行操作: 1. 安装所需库:确保已安装 ScrapySelenium 库。可以使用以下命令进行安装: ``` pip install scrapy pip install selenium ``` 2. 创建 Scrapy 项目:使用以下命令创建一个新的 Scrapy 项目: ``` scrapy startproject dynamic_scraping ``` 3. 创建 Spider:进入项目目录,并使用以下命令创建一个新的 Spider: ``` cd dynamic_scraping scrapy genspider example example.com ``` 这将在 `spiders` 目录下创建一个名为 `example.py` 的 Spider。 4. 配置 Spider:打开 `example.py` 文件,并按照以下示例进行配置: ```python import scrapy from scrapy_selenium import SeleniumRequest from scrapy.selector import Selector class ExampleSpider(scrapy.Spider): name = 'example' allowed_domains = ['example.com'] def start_requests(self): yield SeleniumRequest( url='https://example.com', callback=self.parse ) def parse(self, response): sel = Selector(response) # 在这里使用 XPath 或 CSS 选择器提取动态加载的数据 # 示例:提取标题 title = sel.xpath('//h1/text()').get() print(title) ``` 在上面的示例,我们使用了 `SeleniumRequest` 替代了普通的 `scrapy.Request`,这使得 Scrapy 可以使用 Selenium 来处理动态加载的内容。 5. 配置 Selenium:为了使用 Selenium,你需要配置相关的 Web 驱动程序。根据你使用的浏览器,下载并安装相应的驱动程序,并将其添加到系统的 PATH 环境变量。 6. 运行 Spider:使用以下命令运行 Spider: ``` scrapy crawl example ``` 这将启动爬取过程,并在控制台上打印出提取的动态加载数据。 通过以上步骤,你可以使用 ScrapySelenium 结合进行爬取动态加载数据的操作。你可以根据实际需求修改 Spider 的代码来提取所需的数据,并将其保存到文件或数据库
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值