yhl1991的博客

原创 scrapy下调试单个函数的方法

scrapy下调试单个函数的方法进行抓取任务时很苦恼的一点在于为了调试某个第三,四层以上的跳转链接需要等待将前面的链接都跑一遍,才能确定某个页面的parse函数是否正确,scrapy的命令行参数 parse就是为了解决这一问题.官网的描述 Syntax: scrapy parse [options] 意思就是 scrpy parse 网址 可选参数 官网给出的例子 $ scrapy sh