python爬虫运行一遍后再运行不成功_python爬虫 - pyspdier run时运行到on_start就停止 但是单步调试可继续...

问 题

问题如上，代码如下

#!/usr/bin/env python

# -*- encoding: utf-8 -*-

from pyspider.libs.base_handler import *

class Handler(BaseHandler):

crawl_config = {

}

@every(minutes=24 * 60)

def on_start(self):

self.crawl('https://xxxx.com/listSimilarTopics?id=5577b317e4b00ff508c0e780', callback=self.index_page)

@config(age=10 * 24 * 60 * 60)

def index_page(self, response):

for each in response.json['data']:

print(each['content'])

self.crawl('https://xxxcom/showDetail?topicId='+ each['id'], callback=self.detail_page)

self.crawl('https://xxxxcom/istSimilarTopics?id='+ each['id'], callback=self.index_page)

@config(priority=2)

def detail_page(self, response):

for each in response.json['messages']:

return each

解决方案

on_start 里面的地址是否已经抓过了，即使你改了代码，抓过的代码不会重复抓取。

解决方法读文档。

扫一扫关注IT屋

微信公众号搜索 “ IT屋 ” ，选择关注与百万开发者在一起