Scrapy爬虫单元测试神器scrapy_pytest
Scrapy-PytestScrapy-Pytest,是基于pytest的方便为Scrapy框架写的爬虫设计的单元测试工具。其主要基于Scrapy的HTTPCache功能缓存的Request和Response数据,通过HTTP缓存,生产对应的Request和Response对象,可以不重新依赖于网络进行对Scrapy爬虫的测试,目前可以支持自动生产Scrapy爬虫的各个解析函数(内置pars...
原创
2019-06-18 23:38:32 ·
1243 阅读 ·
0 评论