python爬虫<将scrapy的请求设置为同步>

scrapy的请求是并发进行的，但是我今天有一个需求是要顺序爬网站上的信息，爬的是搜狗热搜榜的电影、电视剧、动漫、综艺的热搜排行榜，每一个爬前三页。顺序爬取下来然后存到数据库中。

我的解决办法是在setting文件中将scrapy的并发数设置为1，当并发数为1的时候不就是同步了嘛

# Configure maximum concurrent requests performed by Scrapy (default: 16)
CONCURRENT_REQUESTS = 1

这个参数的默认值是16

以下是我的代码：

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'
}


class Topsougou_Spider(scrapy.Spider):
    name = 'top_sougou_spider'

    def start_requests(self):
        reqs = []
        # 综艺
        for i in range(1, 4):
            url = 'http://top.sogou.com/tvshow/all_' + str(i) + '.html'
            req = scrapy.Request(url=url, headers=headers)
            reqs.append(req)
        # 电影
        for i in range(1, 4):
            url = 'http://top.sogou.com/movie/all_' + str(i) + '.html'
            req = scrapy.Request(url=url, headers=headers)
            reqs.append(req)
        # 电视剧
        for i in range(1, 4):
            url = 'http://top.sogou.com/tvplay/all_' + str(i) + '.html'
            req = scrapy.Request(url=url, headers=headers)
            reqs.append(req)
        # 动漫
        for i in range(1, 4):
            url = 'http://top.sogou.com/animation/all_' + str(i) + '.html'
            req = scrapy.Request(url=url, headers=headers)
            reqs.append(req)
        return reqs

    def parse(self, response):
        item = TopSougouItem()
        url = response.url
        print url

执行结果：