- 博客(3)
- 收藏
- 关注
RSS订阅原创 Scrapy框架流程图解析
接下来就放一张scrapy的架构图喽~(绿线是数据流向) 简单叙述一下每层图的含义吧： Spiders(爬虫):它负责处理所有Responses,从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器)Engine(引擎)：负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递...
2019-03-26 17:27:13
269
原创 scrapy爬虫完整的代码实例
新建工程 scrapy startproject tutorial 进入tutorial目录，在spider下面新建quotes_spider.py import scrapy from ..items import QuotesItem #coding:utf-8 class QuotesSpider(scrapy.Spider): name = "quot...
2019-03-26 17:00:05
2371
原创 Selenium WebDriver基础操作教程
Selenium WebDriver基础操作教程 1、选取合适的浏览器及相应的驱动 在配置Selenium的WebDriver前首先先选定测试的浏览器，IE、Chrome、Firefox等主流浏览器。不同的浏览器需要不同的驱动来实现。Firefox是自带驱动，不需要下载驱动，IE、Chrome等需要下载相应的驱动。 打开chrome 输入 “chrome://version/...
2019-03-20 17:18:25
14399
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人