（最新）Scrapy修改开始时间，完成时间，消耗时间和总数

（最新）Scrapy修改开始时间，完成时间，消耗时间和总数

• 打开自己安装的python路径
  就是你的python.exe安装路径
  请找到下面路径：

xxx\Lib\site-packages\scrapy\extensions
在这个路径下面找到 corestats.py 这个文件并双击打开

• 这是原先的代码
  

• 修改为
  

• 所修改的代码为：

在这里插入代码片

def spider_opened(self, spider):
    self.start_time = datetime.now()
    self.stats.set_value('start_time', self.start_time.strftime("%Y-%m-%d %H:%M:%S"), spider=spider)

def spider_closed(self, spider, reason):
    finish_time = datetime.now()
    elapsed_time = finish_time - self.start_time
    elapsed_time_seconds = elapsed_time.total_seconds()
    self.stats.set_value('elapsed_time_seconds', elapsed_time_seconds, spider=spider)
    self.stats.set_value('finish_time', finish_time.strftime("%Y-%m-%d %H:%M:%S"), spider=spider)
    self.stats.set_value('finish_reason', reason, spider=spider)

    #这是计算此时运行耗费多长时间，特意转化为 时:分:秒
    Total_time=int((finish_time-self.start_time).total_seconds())
    m, s = divmod(Total_time, 60)
    h, m = divmod(m, 60)
    self.stats.set_value('Total_time', "共耗时===>%d时:%02d分:%02d秒" % (h, m, s), spider=spider)

def item_scraped(self, item, spider):
    self.stats.inc_value('共获得item_scraped_count', spider=spider)

• 呈现结果：