scrapy本地调试网页

有时使用爬虫的时候会把网页抓下来然后本地调试，所以今天写一篇博客记录一下整个流程：

目录

1.抓取网页保存到本地

2.离线调试

1.抓取网页保存到本地

在Scrapy爬虫类的parse函数中使用

def parse(self,response):
def saveHtml(file_content):
with open(“保存路径/test.html”, “w”) as f:
f.write(file_content)
# test中就是html网页的文本信息
text = response.text
saveHtml(text)
2.离线调试
第一次爬取网页的时候直接保存了网页的内容，因此此时使用scrapy直接简单的在本地调试正则表达式：

from scrapy import Selector

body = open(‘离线网页保存地址/test.html’).read()
#使用scrapy自身的Selector解析文本
selector = Selector(text=body)

#这里获得所有a标签中的链接
a_list = selector.css(‘a::attr(href)’)
#之后可以随意的调戏这个网页了(滑稽脸)
比较简短的代码，可以快速方便的调试本地内容