快速获取Scopus数据库文献信息（大于2万条）的方法

问题：针对某一检索式，scopus数据库导出csv的数据情况为：前2000条数据可以按照勾选的字段导出；前20000条数据只能给出引文信息，且通过邮箱发送。
输入检索式，笔者现在需要17万多文献数据，且所需的信息不只是引文信息，包含以下字段（涉及引文信息、题录信息、摘要和关键字），如下图。

采取的方法为：
第一步：按照年份进行精简，因为每年的数据都小于2万条，所以每次均可完整地通过邮箱的方式获取到只有引文信息的文献；
第二步，根据引文信息中的链接对每篇文章的摘要、索引关键字、作者关键字等字段进行爬虫，code如下。

# -*- coding: utf-8 -*-
#  爬取scopus的详细信息

import importlib,sys
importlib.reload(sys)
import requests
from lxml import etree
import time

#------将结果写入文件--------
import csv
res = open("content_2014.csv","a",encoding='utf-8',newline='')
writer = csv.writer(res)
user_agent = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36"
headers = {"User-Agent": user_agent,"Connection": "close"}  # 请求头,headers是一个字典类型
#--------------------第一步：读取数据----------------------------
word = []
f = open("/Users/sunmengge/Desktop/scorpus/scopus_2014.csv", encoding='utf-8')
lines = f.readlines()
for i in range(1,len(lines)):
    print(i)
    content = []
    url = lines[i].split(",")[-7]
    print(url)
    content.append(url)
    # --------------------第二步：获取每一网页数据----------------------------
    while 1:
        try:
            print("start")
            html = requests.get(url, headers=headers).text
            break
        except:
            print("connection refused by the server..")
            print("let me sleep for 5seconds")
            time.sleep(5)
            print("it is a nice sleep,now let me continue")
            continue
    # --------------------第三步：解析每一网页数据----------------------------
    selector = etree.HTML(html)
    #----------------title-------------------
    name = selector.xpath('//*[@id="profileleftinside"]/div[2]/h2/text()')
    print(name)
    if name == []:
        i = i-2
        continue

    content.append(str(name[0]).strip("\n"))
    #-------------abstract----------------
    abstract = selector.xpath('//*[@id="abstractSection"]/p/text()')
    print(abstract)
    content.append(str(abstract).strip("\n"))
    #-------------authorwords----------------
    authorwords = selector.xpath('/html/body/div[1]/div[1]/div[1]/div[2]/div[1]/div[3]/div[3]/div[1]/div[1]/div[2]/div[2]/section[8]/span/text()')
    print(authorwords)
    content.append(str(authorwords).strip("\n"))
    #-------------indexkeywords----------------
    if authorwords == []:
        section = 8
    else:
        section = 9
    indexkeywords = selector.xpath(
        '/html/body/div[1]/div[1]/div[1]/div[2]/div[1]/div[3]/div[3]/div[1]/div[1]/div[2]/div[2]/section[%d]/table/tr/th/text()'%section)
    if indexkeywords == []:
        section = 5
    indexkeywords = selector.xpath(
        '/html/body/div[1]/div[1]/div[1]/div[2]/div[1]/div[3]/div[3]/div[1]/div[1]/div[2]/div[2]/section[%d]/table/tr/th/text()' % section)
    print(indexkeywords)
    for j in range(len(indexkeywords)):
        k = selector.xpath(
        '/html/body/div[1]/div[1]/div[1]/div[2]/div[1]/div[3]/div[3]/div[1]/div[1]/div[2]/div[2]/section[%(sec)d]/table/tr[%(i)d]/td/span/text()'%{"sec":section,"i":(j+1)})
        print(indexkeywords[j])
        print(k)
        content.append(str(indexkeywords[j]).strip("\n"))
        content.append(str(k).strip("\n"))
    writer.writerow(content)
res.close()        

第三步：分年在并行跑以上代码。大约每条文献url的内容获取及解析需要6秒。
希望对大家有帮助！