爬虫 翻页

 第一种 列表推导式

url = ['http://q.10jqka.com.cn/index/index/board/all/field/zdf/order/desc/page/{}/ajax/1/'.format(i) for i in range(1, 4)]
for j in url:
    print(j)

 第二种 for循环

for i in range(1, 4):
    url = 'http://q.10jqka.com.cn/index/index/board/all/field/zdf/order/desc/page/{}/ajax/1/'.format(i)
    print(url)

 第三种 xpaht 寻找下一页

 # 下一页
            next_page = response.xpath("//div[@class='pages']/a[contains(text(),'下一页')]/@href").extract_first()
            if next_page != 'javascript:':
                next_url = 'http://www.huobiao.cn' + next_page
                # print('*'*100)
                # print(next_url)
                yield scrapy.Request(next_url, callback=self.parse_detail_url, dont_filter=True)