scrapy telnet 监测爬虫运行和性能问题

1. 安装 telnet

Mac 系统： brew install telnet 

其他 系统：略

2. 运行scrapy爬虫

scrapy  crawl your_spider

3. telnet 监测爬虫运行

• telnet localhost 6023
• est ( ) :  查看爬虫引擎各组件的运行状态
• p(stats.get_stats())  ：查看爬虫已经运行的各项指标

est() 参数详解：

1. len(engine.downloader.active) :        16                --> 下载器中的请求数

2. engine.spider.name :                   exchanges         --> 监控的爬虫name

3. len(engine.slot.scheduler.mqs) :       4564              --> 调度器中的请求（等待被调度处理（下载））

4. len(engine.scraper.slot.active) :      10                --> 正在处理的响应数

5. engine.scraper.slot.active_size  :     241566            --> 正在处理的响应大小（240KB）

6. engine.scraper.slot.itemproc_size :    0                 --> pipeline处理中的item的数量

 

p(stats.get_stats())  ：查看爬虫已经运行的各项指标

1. 'item_scraped_count':            2804157               --> pipeline处理完成的item数量

2. 'response_received_count':   28093                   --> 请求完成的url数量

 

4. telnet 监控端口的特殊情况处理

通常情况开启的是6023端口，如果同时运行scrapy爬虫较多的情况，会在【6023，6073】端口之间随机分配。

注意查看你需要监测的爬虫程序开启的端口号（如下图所示），telnet localhost port 改成指定的端口号即可。

 

 

 

------------ END------------