python scrapy框架爬取CNKI数据

1、找到一个比官网更容易分析的接口，但貌似里头的信息不全，只有前76页的信息。

2、如何让scrapy按顺序爬取页面：

1）直接从网页中抓取下一页的url，不要自己定义：

# -*- coding: utf-8 -*-
import scrapy
import re
import time
from CNKISpider.items import CnkispiderItem
import urllib.request
from urllib.error import URLError
from lxml import etree


class CnSpider(scrapy.Spider):
    name = 'CN'
    allowed_domains = ['search.cnki.com.cn']
    start_urls = ['http://search.cnki.com.cn/Search.aspx?q=%e8%87%aa%e7%84%b6%e8%af%ad%e8%a8%80%e5%a4%84%e7%90%86&rank=citeNumber&cluster=all&val=&p=0',