![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
scrapy
cf313995
这个作者很懒,什么都没留下…
展开
-
scrapy入门教程(一)虚拟环境的搭建
1、安装virtualenvwrapper-win 包。使用命令pip install virtualenvwrapper-win2、输入workon命令查看是否可用。此时找不到文件是正常的,因为我们还没有开始创建虚拟环境。3、开始创建虚拟环境。使用命令mkvirtualenv py3scrapy创建一个叫做py3scrapy的虚拟环境。默认放在C:\Users\Administrat...原创 2018-09-26 20:48:14 · 818 阅读 · 0 评论 -
scrapy入门教程(二)安装和项目搭建
一、安装scrapy框架。List item1、输入workon命令,进入已经设置好的一个虚拟环境。2、安装scrapy框架。 即pip install scrapy3、如遇到如下报错信息,进入:https://www.lfd.uci.edu/~gohlke/pythonlibs/#scipy 下载Twisted库的wheel文件。5、根据自己的python环境选择合适的版本下...原创 2018-09-26 21:37:19 · 303 阅读 · 0 评论 -
scrapy入门教程()部署爬虫项目
scrapyd部署爬虫项目scrapyd介绍scrapyd安装scrapyd部署1、scrapyd介绍它就相当于是一个服务器,用于将自己本地的爬虫代码,打包上传到服务器上,让这个爬虫在服务器上运行,可以实现对爬虫的远程管理(远程启动爬虫,远程关闭爬虫,远程查看爬虫的一些日志等)。2、scrapyd安装使用命令pip install scrapyd进行安装即可。此处安装的版...原创 2018-09-27 20:44:32 · 1442 阅读 · 1 评论 -
scrapy入门教程(三)scrapy相关组件
前面两步的准备工作完成之后,我们先不要着急开始工作,毕竟作为一个框架,还是很复杂的;贸然上手 开整,很容易陷入懵逼状态啊!一团浆糊,理不清思路,后面的事情做起来很很麻烦啦!我们来看看下面这张图:这是scrapy官方文档1.5.1(此网站最好fp查看)提供的架构图。(1)引擎(Engine)引擎负责控制数据流在系统所有组件中流动,并在相应动作发生时触发事件。你可以理解为我们人的身体。(...原创 2018-09-28 10:20:27 · 546 阅读 · 1 评论 -
scrapy入门教程()Gerapy分布式爬虫管理框架
一、介绍:Gerapy 是一款分布式爬虫管理框架,支持 Python 3,基于 Scrapy、Scrapyd、Scrapyd-Client、Scrapy-Redis、Scrapyd-API、Scrapy-Splash、Jinjia2、Django、Vue.js 开发等。在爬虫方面Gerapy 可以帮助我们:①更方便地控制爬虫运行②更直观地查看爬虫状态③更实时地查看爬取结果④更简单地实现...原创 2018-09-28 19:52:58 · 957 阅读 · 0 评论