python scrapy 修改时间统计信息源码

修改scrapy 时间统计，优化时间，增加总耗时统计！

修改文件：corestats.py  位置： D:\python\Lib\site-packages\scrapy\extensions

修改下面两个函数：

注释的都是源码

    def spider_opened(self, spider):
        # 源码
        # self.stats.set_value('start_time', datetime.datetime.utcnow(), spider=spider)
        self.start = time.time()
        start_time = time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(self.start))  # 转化格式
        self.stats.set_value('start_time', '开始时间  --  {}'.format(start_time), spider=spider)

    def spider_closed(self, spider, reason):
        # 源码
        # self.stats.set_value('finish_time', datetime.datetime.utcnow(), spider=spider)
        # self.stats.set_value('finish_reason', reason, spider=spider)
        self.end = time.time()
        finish_time = time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(self.end))  # 转化格式
        self.stats.set_value('finish_time', '结束时间  --  {}'.format(finish_time), spider=spider)
        self.stats.set_value('finish_reason', reason, spider=spider)

        # 运行总耗时，时:分:秒
        Total_time = self.end - self.start
        m, s = divmod(Total_time, 60)
        h, m = divmod(m, 60)
        self.stats.set_value('Total_time', "总耗时  --  %d时:%02d分:%02d秒" % (h, m, s), spider=spider)