pyspider_analysis_1

Windows下pyspider的安装

• 在cmd输入如下命令(最好在本地更改pip源)

  pip install pyspider
  

启动pyspider

• 在cmd输入

  pyspider all
  

• all表示启动所有组件，如有特殊需要可以自行选择options

• Windows下启动通常会出现如下warning
  
  查看源码会发现，在pyspider.libs.utils.TimeoutError中有如下一段代码

  try:
      import signal
      if not hasattr(signal, 'SIGALRM'):
          raise ImportError('signal')
      ...
  except ImportError as e:
      warnings.warn("timeout is not supported on your platform.", FutureWarning)
  

  在Windosw下可能无法使用signal相关功能，但该warning对pyspider正常启动没有任何影响

• 看到如下信息表示启动成功
  

• pyspider的webui默认在localhost(127.0.0.1)的5000端口
  在浏览器地址输入栏键入url
  
  进入pyspider dashboard
  
  由于我事先已经创建过project，所以和初次打开有所不同，下面来简单介绍下这个界面，至于未提到的部分将放在之后详述

pyspider dashboard简介

• group表示project所在分组，可自行修改
• project_name表示project名称
• status表示project所处状态，共有图示5种状态
• rate/burst表示spider爬取速率及并发数
• progress可以看到project在各种时间单位下运行的情况
• actions可以控制或查看project的相关信息
• create用来创建project