scrapy调试

1、scrapy shell是scrapy提供的一个终端工具，能够通过它查看scrapy中对象的属性和方法，以及测试xpath

使用方法：

scrapy shell http://www.itcast.cn/channel/teacher.shtml

在终端输入上述命令后，能够进入python的交互式终端，此时可以使用：

• response.xpath()：直接测试xpath规则是否正确
• response.url：当前响应的url地址
• response.request.url：当前响应对应的请求的url地址
• response.headers：响应头
• response.body：响应体，也就是html代码，默认是byte类型
• response.requests.headers：当前响应的请求头

2 settings.py中的设置信息

2.1 为什么项目中需要配置文件

在配置文件中存放一些公共变量，在后续的项目中方便修改，如：本地测试数据库和部署服务器的数据库不一致

2.2 配置文件中的变量使用方法

1. 变量名一般全部大写
2. 导入即可使用

2.3 settings.py中的重点字段和含义

• USER_AGENT 设置ua
• ROBOTSTXT_OBEY 是否遵守robots协议，默认是遵守
• CONCURRENT_REQUESTS 设置并发请求的数量，默认是16个
• DOWNLOAD_DELAY 下载延迟，默认无延迟
• COOKIES_ENABLED 是否开启cookie，即每次请求带上前一次的cookie，默认是开启的
• DEFAULT_REQUEST_HEADERS 设置默认请求头
• SPIDER_MIDDLEWARES 爬虫中间件，设置过程和管道相同
• DOWNLOADER_MIDDLEWARES 下载中间件
• LOG_LEVEL 控制终端输出信息的log级别，终端默认显示的是debug级别的log信息
  • LOG_LEVEL = "WARNING"
  • 日志等级: DEBUG,INFO,WARNING,ERROR,CRITICAL
• LOG_FILE 设置log日志文件的保存路径，如果设置该参数，终端将不再显示信息
  • LOG_FILE = "./test.log"
• 其他设置参考：https://www.jianshu.com/p/df9c0d1e9087