324day(pyspider实例2)

《2018年8月23日》【连续325天】

标题：pyspider实例2；

内容：

尝试用pyspider爬取了一个网站的视频排行，非常便利：
 

class Handler(BaseHandler):
    crawl_config = {
    }

    @every(minutes=24 * 60)
    def on_start(self):
        self.crawl('https://www.bilibili.com/ranking/origin/0/0/3', callback=self.index_page,validate_cert=False)

    @config(age=10 * 24 * 60 * 60)
    def index_page(self, response):
        for each in response.doc('.title').items():
            self.crawl(each.attr.href,
                       callback=self.detail_page,validate_cert=False)

    @config(priority=2)
    def detail_page(self, response):
        return {
            "url": response.url,
            "up": response.doc('.user > .name').text(),
            "title":response.doc('h1 > span').text(),
        }