scrapy.Request callback不执行

       上一篇博客介绍了Scrapy Post Request payload数据的问题，本篇记录一下scrapy.Request callback不执行的问题。

       1、大家都说的解决方式，虽然没有解决我的问题，但是还是写到这里，算是一个总结：

1.在scrapy.Request方法里边加上参数dont_filter=True（去重）
2.增加是不是allowed_domains范围内的url
3.yield Request 改为yield scrapy.http.Request

       2、关于调试方式；不执行callback方法也不提示任何消息，想获取错误信息，可以在scrapy.Request方法里边添加errback=self.errback，然后在外边写errback方法，获取错误信息，针对错误信息查找资料。

    def start_requests(self):
        # 循环采集链接
        for url in self.start_urls:
            # 格式化数据
            dumpJson = json.dumps(self.data)
            yield scrapy.Request(url=url,method='POST', headers=self.headers, body=dumpJson, callback=self.parse,dont_filter=True,errback=self.errback)
            print(2222)

    def errback(self, failure):
        self.logger.error(repr(failure))

       3、关于不执行callback我的问题所在，是因为header问题，开始的时候没有加header信息，加上之后就好了，header内容如下，根据实际访问情况添加:

    headers = {
        'Cookie': 'zcy_log_client_uuid=bfc7dd40-0a9a-11eb-a499-3b513cfa1373; acw_tc=76b20fe616022985634935342e5780ecd1336c2b5b5963028db39447d0095b',
        'Host': 'www.ccgp-xinjiang.gov.cn',
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',
        'Content-Type': 'application/json'
    }

       在scrapy.Request添加了header就好了。

       记录的是我解决问题的方法，希望能够为遇到同样问题的人提供一个思路，有问题的地方欢迎指正，对Scrapy我也不是很熟悉。