- 博客(3)
- 收藏
- 关注
原创 Scrapy框架流程图解析
接下来就放一张scrapy的架构图喽~(绿线是数据流向)简单叙述一下每层图的含义吧:Spiders(爬虫):它负责处理所有Responses,从中分析提取数据,获取Item字段需要的数据,并将需要跟进的URL提交给引擎,再次进入Scheduler(调度器)Engine(引擎):负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯,信号、数据传递...
2019-03-26 17:27:13 275
原创 scrapy爬虫完整的代码实例
新建工程scrapy startproject tutorial 进入tutorial目录,在spider下面新建quotes_spider.pyimport scrapyfrom ..items import QuotesItem#coding:utf-8class QuotesSpider(scrapy.Spider): name = "quot...
2019-03-26 17:00:05 2404
原创 Selenium WebDriver基础操作教程
Selenium WebDriver基础操作教程1、选取合适的浏览器及相应的驱动 在配置Selenium的WebDriver前首先先选定测试的浏览器,IE、Chrome、Firefox等主流浏览器。不同的浏览器需要不同的驱动来实现。Firefox是自带驱动,不需要下载驱动,IE、Chrome等需要下载相应的驱动。 打开chrome 输入 “chrome://version/...
2019-03-20 17:18:25 14443
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人