windows 下 scrapyd的配置

1、Scrapyd是一个用来部署和运行Scrapy项目的应用，由Scrapy的开发者开发。其可以通过一个简单的Json API来部署（上传）或者控制你的项目。

2、Scrapyd可以用来管理多个项目，并且每个项目还可以上传多个版本，不过只有最新的版本会被使用。

3、在安装并开启Scrapyd之后，它将会挂起一个服务来监听运行爬虫的请求，并且根据请求为每一个爬虫启用一个进程来运行。

4、Scrapyd同样支持同时运行多个进程，进程的数量由max_proc和max_proc_per_cpu选项来限制

Scrapyd 使用详解：

一、安装scrapyd

pip install scrapyd

二、安装scrapyd-client

pip install scrapyd-client

三、命令行输入 scrapyd  ( 测试scrapyd 是否安装成功如果是这样子就表示安装完成)

si 

四、然后我们打开浏览器输入 127.0.0.1:6800 会出现这样一个页面表示scrapyd 安装成功。

五、修改scrapyd的配置，修改成允许远程访问

配置文件路径：D:\mytools\Anconda3\envs\py36\Lib\site-packages\scrapyd

修改 bind_address = 127.0.0.1   为  bind_address = 0.0.0.0

六、添加scrapyd-deploy.bat 文件（因为 scrapyd-deploy  运行会报错， 找不到XXX）

编写内容如下：

@echo off

"D:\mytools\Anconda3\envs\py36\python.exe" "D:\mytools\Anconda3\envs\py36\Scripts\scrapyd-deploy" %*

七、修改scrapyd-deploy文件， 否则scrapyd-deploy 会报导包错误

注释23行， 添加24行代码

from w3lib.http import basic_auth_header