Web of Science爬虫实战（模拟浏览器）

Webof Science爬虫实战（模拟浏览器）

一．概述

本次爬虫主要通过论文的入藏号来检索出该论文，从而爬取该论文的被引量，近180天下载量以及全部下载量。这里使用的是Web of Scienece 核心合集，并且使用python的selenium库进行模拟浏览器的操做

二．网站及爬取策略分析

首先点击http://apps.webofknowledge.com/UA_GeneralSearch_input.do?product=UA&search_mode=GeneralSearch&SID=6EjTawX7GkX8XfiGarJ&preferencesSaved=这个链接进入相应页面。如下：

图1:检索页面

注意以上三块标红的地方要与我设置成一样，然后我随便输入个入藏号000370884200013，点击检索即可进入我们需要爬取的页面如下

图2.爬取页面

 

看到右侧用红框标出的页面鼠标移到上面右键检查即课打开该开发者页面，具体分析里面的html

 

三．安装相应的包

这边主要用到了selenium包，可以用pip来安装，pip install -U selenium。但是这里你可能还是不能用，你还需要chrome浏览器或者火狐等，我用了chrome。

有了这些之后你还需要chrome驱动器请到下面这个地址自行下载https://sites.google.com/a/chromium.org/chromedriver/downloads

但是主要下载后的驱动程序请放到你chrome的目录下（在我电脑上的路径是C:\Program Files(x86)\Google\Chrome\Application），或者配置到环境变量下（但是该方法我不知道为什么没成功）

四．爬虫代码

下面即是完整的python代码，你也可以点击https://github.com/jgzquanquan/Spyder_wos/blob/master/wos.py进入我的github查看

import re
from urllib import parse
import requests
from bs4 import BeautifulSoup
import bs4
from lxml import etree
from selenium import webdriver
import time
def geturl(Num):
    Str = "\""+Num+"\""
    driver = webdriver.Chrome()
    url = 'http://apps.webofknowledge.com/WOS_GeneralSearch_input.do?product=WOS&SID=6FAEOvziD7rmWrbUJk6&search_mode=GeneralSearch'
    driver.get(url)
    driver.find_element_by_id("clearIcon1").click()#点击清除输入框内原有缓存地址
    driver.find_element_by_id("value(input1)").send_keys(Num)#模拟在输入框输入入藏号
    driver.find_element_by_id("WOS_GeneralSearch_input_form_sb").click()#模拟点击检索按钮
    url1 = driver.current_url
    driver.close()
    return url1
# 该函数用Requests库将网页爬取下来
def getHTMLText(url):
    # 爬取网页的通用代码框架
    try:
        kv = {'user-agent': 'Mozilla/5.0'}#该参数是设置用浏览器的形式访问网站
        r = requests.get(url, headers=kv,timeout=30)#爬取网页生成response对象
        r.raise_for_status()
        r.encoding = r.apparent_encoding#判断是否爬取成功
        return r.text         #返回爬虫的文本内容
    except:
        return ""

def html_parse(html,ID):
    if html is None:
        print("html count:", html)
        return
    try:
        tree = etree.HTML(html)
        cited = tree.xpath("//div[@class='search-results-data-cite']/a/text()")#解析页面获取被引量
        download = tree.xpath(".//div[@class='alum_text']/span/text()")#解析页面获取下载量
        print(cited,download)
        Str=""
        if len(cited)==0:
            Str = "0" + "," + download[0] + "," + download[1]

        else:
            Str = cited[0] + "," + download[0] + "," + download[1]
        return Str
    except:
        print(ID)


def main():
    uinfo=[]

    queryFile = open("wos1.txt", 'r', encoding='utf-8')
    for query in queryFile:
        fout = open('WosOutput.txt', 'a', encoding='utf-8')
        # 将输入文件中的每一行分割成导师姓名和学校
        splitRes = query.split(',')
        if len(splitRes) != 3:
            print(query, ' 格式不正确')
        else:
            uinfo = []
            ID = query.split(',')[0]
            Name = query.split(',')[1]
            Num = query.split(',')[2][4:-1]
            url = geturl(Num)
            html = getHTMLText(url)
            data = html_parse(html,ID)
            Str = str(ID)+","+str(Name)+","+str(Num)+","+str(data)
            print(Str)
            fout.write(Str+ '\n')
            fout.close()

    queryFile.close()

main()

五．问题

用该种方式爬虫速度非常慢，如果数据量大的话请谨慎考虑。我用这种方法是走投无路，不过后来又发现新的方法，具体请看下一篇。