认识程序中的debug信息
https://blog.csdn.net/wei18791957243/article/details/86157707 这个博客里写了,怎么关闭这些debug信息
因为在Scrapy中默认是开启debug信息的
Scrapy shell的使用
退出到爬虫项目的根目录的上一级目录
scrapy shell 网站地址 例如: scrapy shell http://quotes.toscrape.com/
如果电脑上装的Ipython就进入Ipython,没有就进入Python Sell
执行上面的命令后,会打印一堆debug信息以及可用的爬虫对象
1. 然后即可以进行使用爬虫对象对应的方法
response对象
'''当前响应的url地址''' response.url '''返回请求的url网页源码,注意类型是str类型''' response.text '''返回请求的url网页源码,注意类型是bytes类型''' response.body '''也可以测试xpath是否写的正确''' response.xpath().extract() '''当前响应对应的请求的url地址''' response.request.url: '''响应头''' response.headers: '''当前响应的请求头''' response.requests.headers:
spider对象
'''爬虫的名字,没有指定就是default''' spider.name '''打印log信息''' spider.log() ''''''
还有其他的一些对象以及对应的请求, 我们可以
在shell中输入对象后然后按Tab键就可以看它对应的所有方法
Scrapy框架的学习(7. 了解Scrapy中的debug信息以及Scrapy shell的使用)
最新推荐文章于 2024-03-22 12:10:01 发布