![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
番茄要去皮
业精于勤,荒于嬉;行成于思,毁于随。
认真学习,努力工作,快乐生活。
学习笔记。
展开
-
Scrapy框架
scrapy简介Scrapy是一个用于抓取web站点和提取结构化数据的应用框架,它可用于广泛的有用应用,如数据挖掘、信息处理或历史存档。可以参考scrapy的英文文档或者中文文档整体的架构大致如下:scrapy框架由scrapy引擎(scrapy engine)、调度器(scheduler)、下载器(downloader)、蜘蛛(spider)以及项目管道(item pipeline)组成。工作流程大致如下:首先scrapy引擎向调度器发送请求,调度器从url队列中取出一个url交给下载器,其原创 2020-08-29 11:12:28 · 1230 阅读 · 0 评论 -
selenium
selenium简介介绍Selenium是一个用于Web应用程序测试的工具,是一个自动化测试工具,用来模拟用户正常访问浏览器。Selenium测试直接运行在浏览器中,就像真正的用户在操作一样。支持的浏览器包括IE(7, 8, 9, 10, 11),Mozilla Firefox,Safari,Google Chrome,Opera等。这个工具的主要功能包括:测试与浏览器的兼容性——测试你的应用程序看是否能够很好得工作在不同浏览器和操作系统之上。测试系统功能——创建回归测试检验软件功能和用户需求。支持自动原创 2020-07-25 15:39:41 · 793 阅读 · 0 评论