ken桑带你读源码 之scrapy scrapy\extensions

logstats.py  

    爬虫启动时 打印抓取网页数   item数   

memdebug.py   

   爬虫结束 统计还被引用的内存 也就是说gc 回收不了的内存  　　

memusage.py 

   监控爬虫 内存占用  一旦超过 MEMUSAGE_LIMIT_MB  就stop spider  如果启动email  还会发送邮件     抓取过程中 还会统计 内存占用的峰值 

spiderstate.py

   爬虫启动时 把state 对象 读出来  关闭时 写回去   

statsmailer.py 

   把爬虫全局统计信息  和 单个spider 的 统计信息发送到  email  

telnet.py

   启动telnet 服务器 

throttle.py

   这个是自动限速的    

debug.py

    捕捉 signal.SIGUSR2    进入调试状态  Pdb().set_trace(frame.f_back)

closespider.py

     监控  爬虫错误次数  抓取次数   达到阀值即close spider

 

转载于:https://www.cnblogs.com/gzwwj/p/8041055.html