python爬虫培训 scrapy

 

Windows7系统下,Python网络爬虫框架Scrapy及相关Scrapyd,Scrapydweb组件安装过程及易错经验积累！

首先要搞清楚几个概念

1、scrapy是什么？

一个爬虫框架，你可以创建一个scrapy项目

2、scrapyd是什么？

相当于一个组件，能够将scrapy项目进行远程部署，调度使用等

因此scrapyd可以看作一个cs（client-server）程序，因此毫无疑问我们需要安装和配置scrapyd(server)和连接的scrapy-client(client)

3、scrapydweb是什么？

是一个基于scrapyd的可视化组件，集成并且提供更多可视化功能和更优美的界面

总结：三者如同葫芦套娃，总共三层

Python版本：Python3.7

Python开发环境：PyCharm Community Edition 2020.3 x64

一，必备组件安装步聚：

1.安装Scrapy框架，在PyCharm命令行下使用命令 Pip install Scrapy 本文Scrapy版本为2.4.1或在PyCharm集成开发环境中直接安装

2.Scrapyd安装，使用命令pip install Scrapyd 安装，本文Scrapyd版本号为1.2.1

3.Scrapyd-client安装 pip3 install scrapyd-client

Scripts下scrapyd-deploy无法运行，需复制一份后缀为.BAT文件，以本文环境安装路径为例，内容修改如下：