![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
scrapy
iku_ki
这个作者很懒,什么都没留下…
展开
-
scarpy安装与常用命令
scrapy环境的搭建 pip install wheel (服务第2步与第3步操作) 下载twisted包 (scrapy借助它完成了异步数据下载),下载地址:http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 安装twisted: pip install 下好的twisted包名 (对应的python版本就下载) pip install pywin32 pip install scrapy 注意下载twisted包 时要与python版本兼容.原创 2021-05-27 18:20:09 · 162 阅读 · 0 评论 -
scrapy五大核心组件简介
scrapy五大核心组件简介 scrapy的基本使用我们已经掌握,但是各位心中一定会有些许的疑问,我们在编写scrapy工程的时候,我们只是在定义相关类中的属性或者方法,但是我们并没有手动的对类进行实例化或者手动调用过相关的方法,那么这些操作都是谁做的呢?接下来我们就来看看scrapy的五大核心组件的工作流程,然后大家就会上述的疑问有基本了解了。 引擎(Scrapy) 用来处理整个系统的数据流处理, 触发事务(框架核心) 调度器(Scheduler) 用来接受引擎发过来的请求, 压入队列中, 并在原创 2021-05-26 23:26:36 · 438 阅读 · 0 评论