1、找到一个比官网更容易分析的接口,但貌似里头的信息不全,只有前76页的信息。
2、如何让scrapy按顺序爬取页面:
1)直接从网页中抓取下一页的url,不要自己定义:
# -*- coding: utf-8 -*-
import scrapy
import re
import time
from CNKISpider.items import CnkispiderItem
import urllib.request
from urllib.error import URLError
from lxml import etree
class CnSpider(scrapy.Spider):
name = 'CN'
allowed_domains = ['search.cnki.com.cn']
start_urls = ['http://search.cnki.com.cn/Search.aspx?q=%e8%87%aa%e7%84%b6%e8%af%ad%e8%a8%80%e5%a4%84%e7%90%86&rank=citeNumber&cluster=all&val=&p=0',