scrapy离线调试本地HTML文件

有时使用爬虫的时候会把网页抓下来然后本地调试，所以今天写一篇博客记录一下整个流程：

目录

1.抓取网页保存到本地

2.离线调试

---

1.抓取网页保存到本地

# 在Scrapy爬虫类的parse函数中使用
def parse(self,response):
    def saveHtml(file_content):
            with open("保存路径/test.html", "w") as f:
                f.write(file_content)
    # test中就是html网页的文本信息
    text = response.text
    saveHtml(text)

2.离线调试

第一次爬取网页的时候直接保存了网页的内容，因此此时使用scrapy直接简单的在本地调试正则表达式：

from scrapy import Selector

body = open('离线网页保存地址/test.html').read()
#使用scrapy自身的Selector解析文本
selector = Selector(text=body)

#这里获得所有a标签中的链接
a_list = selector.css('a::attr(href)')
#之后可以随意的调戏这个网页了(滑稽脸)

比较简短的代码，可以快速方便的调试本地内容