![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Scrapy笔记
Xj_92
这个作者很懒,什么都没留下…
展开
-
Scrapy学习 二 框架简介
框架流程1.引擎向蜘蛛索取网址2.引擎将要爬取的URL交给调度器3.调度器将URL生成请求对象放入到指定的队列4.从队列中出列一个请求5.引擎将请求交给下载器6.下载器发出请求获取互联网数据7.下载器将数据交给引擎8.引擎将数据交给蜘蛛9. Spider通过Xpath解析,将解析结果交给引擎判断10.如果得到的URL则继续交给调度器,如果得到数据则交给管...原创 2018-08-09 11:02:29 · 194 阅读 · 0 评论 -
Scrapy学习 一 安装及基本使用
一,安装窗下在CMD中安装方法(python3要添加好环境变量)1. wheelpip install wheel2. lxmlhttps://www.lfd.uci.edu/~gohlke/pythonlibs/#l xml3. PyOpenSSLhttps://pypi.org/project/pyOpenSSL/#downloads4. twistedht...原创 2018-08-08 20:43:40 · 205 阅读 · 0 评论 -
Scrapy学习 三 命令行详解
命令行详解创建项目scrapy startproject testproject[project_dir]进入项目cd project_dir创建爬虫scrapy genspider mydomain mydomain.com命令全局命令startproject -------- scrapy startproject myproject创建项目 gen...原创 2018-08-09 15:45:01 · 163 阅读 · 0 评论 -
Scrapy学习 四 选择器用法
选择器用法测试网站 https://doc.scrapy.org/en/latest/_static/selectors-sample1.html使用 scrapy shell 测试网站 进入交互模式使用 xpath 抓取>>> response.selector.xpath('//title/text()')[<Selector (te...原创 2018-08-09 17:04:38 · 202 阅读 · 0 评论