spider
barnett_xxf
这个作者很懒,什么都没留下…
展开
-
使用Charles和小米手机MIX3进行手机HTTPS抓包
环境准备电脑安装好Charles,并安装好Charles的证书,并在添加SSL ProxyHelp > SSL Proxy > Install Charles Root CertificateProxy > SSL Proxy Settings , 添加 *:443, 即抓取所有HTTPS的包手机安装Chrome浏览器,切勿使用小米自带的浏览器,很坑的环境配置...原创 2019-06-07 11:22:20 · 3995 阅读 · 5 评论 -
Scrapy爬虫单元测试神器scrapy_pytest
Scrapy-PytestScrapy-Pytest,是基于pytest的方便为Scrapy框架写的爬虫设计的单元测试工具。其主要基于Scrapy的HTTPCache功能缓存的Request和Response数据,通过HTTP缓存,生产对应的Request和Response对象,可以不重新依赖于网络进行对Scrapy爬虫的测试,目前可以支持自动生产Scrapy爬虫的各个解析函数(内置pars...原创 2019-06-18 23:38:32 · 1243 阅读 · 0 评论