长时间运行python会自动停止_为什么每次爬虫运行以后爬取到一定时间或页面时,就自动停止了呢?...

2017-07-08 21:46:03 [scrapy.core.engine] INFO: Closing spider (finished)

2017-07-08 21:46:03 [scrapy.statscollectors] INFO: Dumping Scrapy stats:

{'downloader/request_bytes': 6363,

'downloader/request_count': 21,

'downloader/request_method_count/GET': 21,

'downloader/response_bytes': 576400,

'downloader/response_count': 21,

'downloader/response_status_count/200': 21,

'dupefilter/filtered': 1,

'failed_urls': '',

'finish_reason': 'finished',

'finish_time': datetime.datetime(2017, 7, 8, 13, 46, 3, 34591),

'log_count/DEBUG': 265,

'log_count/ERROR': 20,

'log_count/INFO': 70,

'request_depth_max': 1,

'response_received_count': 21,

'scheduler/dequeued': 21,

'scheduler/dequeued/memory': 21,

'scheduler/enqueued': 21,

'scheduler/enqueued/memory': 21,

'start_time': datetime.datetime(2017, 7, 8, 13, 42, 8, 356169)}

2017-07-08 21:46:03 [scrapy.core.engine] INFO: Spider closed (finished)

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值