scrapy
文章平均质量分 60
Cherry CSL
IT、机器学习、自然语言处理
展开
-
网络数据爬虫(scrapy+selenium)实现页面跳转及文件/附件下载
一、基于scrapy的基本架构搭建(往期博文中已有基本介绍,可参考:)二、selenium实现自动跳转“下一页”:1、selenium简介:一种自动化测试工具,可以模拟人来操作浏览器,执行效率有时候还不如人快,因为需要浏览器页面加载完成才能操作,对网速要求严格,可以用于重复性的操作。2、需求:爬取条目过多,存在页面跳转,故利用selenium模拟点击并实现跳转3、准备:(1)根据自己系统平台信息,下载对应的浏览器驱动(),如我自己的Windows平台,谷歌浏览器版本信息:(2)pip ins原创 2022-04-02 12:21:53 · 4039 阅读 · 1 评论 -
基于Scrapy的房天下数据采集
一、需求二、项目结构三、结果示例原创 2021-07-27 17:15:35 · 282 阅读 · 0 评论