Web of Science爬虫实战（Post方法）

最新推荐文章于 2023-11-03 12:44:41 发布
最新推荐文章于 2023-11-03 12:44:41 发布
阅读量2.3w 收藏 95
点赞数 17
分类专栏： 爬虫 文章标签： 爬虫 数据 python 多线程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jgzquanquan/article/details/78827413
版权

Web of Science爬虫实战（Post方法）

一．概述

本次爬虫主要通过论文的标题来检索出该论文，从而爬取该论文的被引量，近180天下载量以及全部下载量。这里使用的是Web of Scienece 核心合集，并且使用python的requests 库中post方法进行爬取，此外为了加快爬取速度2.0版本采取了多线程的技术

二．网站及爬取策略分析

首先点击http://apps.webofknowledge.com/UA_GeneralSearch_input.do?product=UA&search_mode=GeneralSearch&SID=5BKzcH5qIlQiOPN9Wjv&preferencesSaved=

这个链接进入相应页面然后按下F12点击右侧的network页面，如下图所示：


图1:检索页面

 

然后在右侧红框内选择web of science 核心合集 以及标题按钮，然后输入标题我这里以Blackcarbon in soils from different land use areas of Shanghai, China: Level,sources and relationship with polycyclic aromatic hydrocarbons为例，下图中右侧红框内内容即为需要用post方法提交的数据。


图2.post提交数据来源

 

点击检索即可进入我们需要爬取的页面如下


图3.爬取页面

 

看到右侧用红框标出的页面鼠标移到上面右键检查即课打开该开发者页面，具体分析里面的html

 

三．爬虫代码

下面即是完整的python代码，也可以访问我的github https://github.com/jgzquanquan/Spyder_wos

title_wos_1.0版本

import re
# from threading import Thread
from multiprocessing import Process
from multiprocessing import Manager
import requests
import time
import xlrd
from bs4 import BeautifulSoup
from lxml import etree

class SpiderMain(object):
    def __init__(self, sid, kanming):
        self.hearders = {
            'Origin': 'https://apps.webofknowledge.com',
            'Referer': 'https://apps.webofknowledge.com/UA_GeneralSearch_input.do?product=UA&search_mode=GeneralSearch&SID=R1ZsJrXOFAcTqsL6uqh&preferencesSaved=',
            'User-Agent': "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.94 Safari/537.36",
            'Content-Type': 'application/x-www-form-urlencoded'
        }
        self.form_data = {
            'fieldCount': 1,
            'action': 'search',
            'product': 'WOS',
            'search_mode': 'GeneralSearch',
            'SID': sid,
            'max_field_count': 25,
            'formUpdated': 'true',
            'value(input1)': kanming,
            'value(select1)': 'TI',
            'value(hidInput1)': '',
            'limitStatus': 'collapsed',
            'ss_lemmatization': 'On',
            'ss_spellchecking': 'Suggest',
            'SinceLastVisit_UTC': '',
            'SinceLastVisit_DATE': '',
            'period': 'Range Selection',
            'range': 'ALL',
            'startYear': '1982',
            'endYear': '2017',
            'update_back2search_link_param': 'yes',
            'ssStatus': 'display:none',
            'ss_showsuggestions': 'ON',
            'ss_query_language': 'auto',
            'ss_numDefaultGeneralSearchFields': 1,
            'rs_sort_by': 'PY.D;LD.D;SO.A;VL.D;PG.A;AU.A'
        }
        self.form_data2 = {
            'product': 'WOS',
            'prev_search_mode': 'CombineSearches',
            'search_mode': 'CombineSearches',
            'SID': sid,
            'action': 'remove',
            'goToPageLoc': 'SearchHistoryTableBanner',
            'currUrl': 'https://apps.webofknowledge.com/WOS_CombineSearches_input.do?SID=' + sid + '&product=WOS&search_mode=CombineSearches',
            'x': 48,
            'y': 9,
            'dSet': 1
        }

    def craw(self, root_url,i):
        try:
            s = requests.Session()
            r = s.post(root_url, data=self.form_data, headers=self.hearders)
            r.encoding = r.apparent_encoding
            tree = etree.HTML(r.text)
            cited = tree.xpath("//div[@class='search-results-data-cite']/a/text()")
            download = tree.xpath(".//div[@class='alum_text']/span/text()")
            flag = 0
            print(i,cited, download,r.url)
            flag=0
            return cited, download, flag
        except Exception as e:
            if i == 0:
                print(e)
                print(i)
                flag = 1
                return cited, download, flag





    def delete_history(self):
        murl = 'https://apps.webofknowledge.com/WOS_CombineSearches.do'
        s = requests.Session()
        s.post(murl, data=self.form_data2, headers=self.hearders)





root_url = 'https://apps.webofknowledge.com/WOS_GeneralSearch.do'

if __name__ == "__main__":
    # sid='6AYLQ8ZFGGVXDTaCTV9'

    root = 'http://www.webofknowledge.com/'
    s = requests.get(root)
    sid = re.findall(r'SID=\w+&', s.url)[0].replace('SID=', '').replace('&', '')

    data = xlrd.open_workbook('2015年研究生发表论文.xlsx')
    table = data.sheets()[2]#具体是取哪个表格
    nrows = table.nrows
    ncols = table.ncols
    ctype = 1
    xf = 0
    for i in range(2, nrows):
        csv = open('2015_3.csv', 'a')
        fail = open('fail.txt', 'a')
        if i % 100 == 0:
            # 每一百次更换sid
            s = requests.get(root)
            sid = re.findall(r'SID=\w+&', s.url)[0].replace('SID=', '').replace('&', '')
        kanming = table.cell(i, 5).value#取第i行第6列的数据
        obj_spider = SpiderMain(sid, kanming)
        cited,download,flag = obj_spider.craw(root_url,i)
        if flag==1:
            fail.write(str(i)+'\n')
        else:
            if len(cited)==0:
                cited.append(0)
                print(cited)
            if len(download)==0:
                download.append(0)
                download.append(0)
                print(download)
        csv.write(str(i) +  ',' + str(cited[0]) + ',' + str(download[0]) + ',' + str(download[1]) +'\n')
        csv.close()

title_wos_2.0 

import re
# from threading import Thread
from multiprocessing import Process
from multiprocessing import Manager
import requests
import time
import xlrd
from bs4 import BeautifulSoup
from lxml import etree


class SpiderMain(object):
    def __init__(self, sid, kanming):
        self.hearders = {
            'Origin': 'https://apps.webofknowledge.com',
            'Referer': 'https://apps.webofknowledge.com/UA_GeneralSearch_input.do?product=UA&search_mode=GeneralSearch&SID=R1ZsJrXOFAcTqsL6uqh&preferencesSaved=',
            'User-Agent': "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.94 Safari/537.36",
            'Content-Type': 'application/x-www-form-urlencoded'
        }
        self.form_data = {
            'fieldCount': 1,
            'action': 'search',
            'product': 'WOS',
            'search_mode': 'GeneralSearch',
            'SID': sid,
            'max_field_count': 25,
            'formUpdated': 'true',
            'value(input1)': kanming,
            'value(select1)': 'TI',
            'value(hidInput1)': '',
            'limitStatus': 'collapsed',
            'ss_lemmatization': 'On',
            'ss_spellchecking': 'Suggest',
            'SinceLastVisit_UTC': '',
            'SinceLastVisit_DATE': '',
            'period': 'Range Selection',
            'range': 'ALL',
            'startYear': '1982',
            'endYear': '2017',
            'update_back2search_link_param': 'yes',
            'ssStatus': 'display:none',
            'ss_showsuggestions': 'ON',
            'ss_query_language': 'auto',
            'ss_numDefaultGeneralSearchFields': 1,
            'rs_sort_by': 'PY.D;LD.D;SO.A;VL.D;PG.A;AU.A'
        }
        self.form_data2 = {
            'product': 'WOS',
            'prev_search_mode': 'CombineSearches',
            'search_mode': 'CombineSearches',
            'SID': sid,
            'action': 'remove',
            'goToPageLoc': 'SearchHistoryTableBanner',
            'currUrl': 'https://apps.webofknowledge.com/WOS_CombineSearches_input.do?SID=' + sid + '&product=WOS&search_mode=CombineSearches',
            'x': 48,
            'y': 9,
            'dSet': 1
        }

    def craw(self, root_url,i):
        try:
            s = requests.Session()
            r = s.post(root_url, data=self.form_data, headers=self.hearders)
            r.encoding = r.apparent_encoding
            tree = etree.HTML(r.text)
            cited = tree.xpath("//div[@class='search-results-data-cite']/a/text()")
            download = tree.xpath(".//div[@class='alum_text']/span/text()")
            flag = 0
            print(cited, download,r.url)
            flag=0
            return cited, download, flag
        except Exception as e:
            # 出现错误，再次try，以提高结果成功率
            if i == 0:
                print(e)
                print(i)
                flag = 1
                return cited, download, flag





    def delete_history(self):
        murl = 'https://apps.webofknowledge.com/WOS_CombineSearches.do'
        s = requests.Session()
        s.post(murl, data=self.form_data2, headers=self.hearders)

class MyThread(Process):
    def __init__(self, sid, kanming, i, dic):
        Process.__init__(self)
        self.row = i
        self.sid = sid
        self.kanming = kanming
        self.dic=dic

    def run(self):
        self.cited, self.download, self.fl = SpiderMain(self.sid, self.kanming).craw(root_url, self.row)
        self.dic[str(self.row)]=Result(self.download, self.cited, self.fl, self.kanming, self.row)


class Result():
    def __init__(self, download, cited, fl, kanming, row):
        super().__init__()
        self.row = row
        self.kanming = kanming
        self.fl = fl
        self.cited = cited
        self.download = download

def runn(sid, kanming, i, d):
    ar, ref, fl = SpiderMain(sid, kanming).craw(root_url, row)
    d[str(i)]=Result(ar, ref, fl, kanming, i)
    print(d)
root_url = 'https://apps.webofknowledge.com/WOS_GeneralSearch.do'

if __name__ == "__main__":
    # sid='6AYLQ8ZFGGVXDTaCTV9'

    root = 'http://www.webofknowledge.com/'
    s = requests.get(root)
    sid = re.findall(r'SID=\w+&', s.url)[0].replace('SID=', '').replace('&', '')

    data = xlrd.open_workbook('2015年研究生发表论文.xlsx')
    table = data.sheets()[0]
    nrows = table.nrows
    ncols = table.ncols
    ctype = 1
    xf = 0
    threads = []
    threadnum = 5
    d = Manager().dict()
    csv = open('2015_3.csv', 'a')
    fail = open('fail2015.txt', 'a')
    for i in range(2, nrows):
        if i % 100 == 0:
            # 每一百次更换sid
            s = requests.get(root)
            sid = re.findall(r'SID=\w+&', s.url)[0].replace('SID=', '').replace('&', '')
        kanming = table.cell(i, 5).value
        t = MyThread(sid, kanming, i, d)
        threads.append(t)
        if i % threadnum == 0 or i == nrows - 1:
            for t in threads:
                try:
                    t.daemon = True
                    t.start()
                except requests.exceptions.ReadTimeout:
                    continue
            for t in threads:
                t.join()
            for t in threads:

                rst = d[str(t.row)]
                cited,download,flag = rst.cited,rst.download,rst.fl
                if flag==1:
                    fail.write(str(i)+'\n')
                else:
                    if len(cited)==0:
                        cited.append(0)
                        print(cited)
                    if len(download)==0:
                        download.append(0)
                        download.append(0)
                        print(download)
                csv.write(str(i) + ","  + str(cited[0]) + ',' + str(download[0]) + ',' + str(download[1]) +'\n')
                threads = []
    csv.close()
    fail.close()


jgzquanquan
关注
  • 17
    点赞
  • 踩
  • 95
    收藏
    觉得还不错? 一键收藏
  • 26
    评论
专栏目录
在Web of Science中，如何在阅读摘要后获取某篇论文的原文
10-10
在Web of Science中，如何在阅读摘要后获取某篇论文的原文
Web of science文章信息爬取
qq_16674623的博客
06-05 5114
学习内容： 提示：url参数分析+Python爬虫 前期准备： 1、 安装requests、bs4第三方模块(可以用pip install 第三方模块名称) 2、 了解html的基本定位 3、 Python爬虫基本 基本思路： 1.通过Web of science的检索文章，并构造请求网址来获取页面html代码 2.将响应的html代码使用bs4模块中的Beautifulsoup将html进行解析并提取有效的内容 3.将有效内容储存成CSV表格 开始实操： 首先我们以打开Web of scie
web of science
04-27
对web of science详细的应用介绍，对文献资源的下载提供了非常大的帮助
web of science论文爬虫程序（python）
11-01
web of science论文爬虫程序（python）,可以抓取web of science论文数据，也可以抓其它论文数据库的数据
WOS_Crawler: Web of Science图形界面爬虫、解析工具
热门推荐
TomLeung的博客
01-24 1万+
文章目录太长不看0. 写在前面1. Web of Science爬取逻辑抽象爬取逻辑具体爬取逻辑2. WOS_Cralwer的使用方法1. 图形界面使用方法2. Python API使用方法 太长不看 WOS_Crawler是一个Web of Science核心集合爬虫。 支持爬取任意合法高级检索式的检索结果（题录信息） 支持爬取给定期刊列表爬取期刊上的全部文章（题录信息） 支持选择目标文献类型...
python爬取Web of science论文信息
weixin_63253486的博客
11-03 2167
注意：该篇文章代码在页面读取板块仍存有一定问题，正在着手改善， 本篇博客：利用python爬取web of science 上特定关键词的作者信息、摘要、被引频率等信息。
Web of Science爬虫[模拟浏览器]
Joovo的博客
04-22 3122
学习了另一位写爬虫的博主 Web of Science爬虫实战（模拟浏览器） 以前只会写静态页面分析,简单构造 url 那种爬虫 从这个实战里接触到了以下知识: xpath selenium WebDriver etree 这里只介绍本文用到的地方 xpath 元素查找方式，使用这种方法几乎可以定位到页面上的任意元素。XPath是XML Path的简称，由于 HTML 文档...
【Python】Web of Science主要内容批量提取。
李时珍食疗志的博客
12-30 5742
有的时候需要进行大批量的文献搜索，动则几百篇。但是只在web of science上面一篇一篇读，又很慢。手动copy页面到word里面，也是很低效。因此考虑利用python来对web of science上的文献进行批量搜集。 需求： 在web of science进行文献搜索后，希望把重要信息记录下来。 步骤如下： 可以清楚的看到html的结构，其中【标题】、【作...
python爬取web of science
qq_37760746的博客
12-18 2262
根据作者姓名在某年到某年所发表的文章，对文章的题目，期刊的影响因子进行爬取 from selenium import webdriver from selenium.webdriver.chrome.options import Options import csv import re # from threading import Thread from multiprocessing import Process from multiprocessing import Manager import re
pyWOS:Web of Science Python API
04-27
WOS Web of Science Python API 这些是一些有用的工具，结合了一些我可以从中找到的解释WOS API的灵感。 我需要添加一些循环和错误捕获功能以下载大量内容。 然后，我制作了一些其他工具来保存/解析/提取数据。 希望它可以帮助某些数据科学或从事WOS的人员。 要下载数据，请使用DownloadData.py文件。 底部是它如何调用数据，并带有注释说明如何处理数组。 如果您有兴趣帮助做出更好的贡献，我很乐意合并提交。
Web of Science使用指南
04-27
分成四个部分：1、科学信息在科研过程中的作用；2、Web of Science及引文索引简介；3、如何利用Web of Science核心集合为科研服务；4、如何获得更多的学习资源助力科研
WOS 爬虫总结1
08-03
1. 所需要安装的python3+包 2. 测试例子(没有将程序打包，所以需要将程序下载使用) 2. 进行高级检索 3. 高级检索结果分析 1. 高级检索后不会
web-of-science检索.ppt
11-22
web-of-science检索.ppt
利用Web of Science助力科学研究
03-17
利用Web of Science助力科学研究
Web of Science爬虫实战（模拟浏览器）
jgzquanquan的博客
12-17 1万+
Webof Science爬虫实战（模拟浏览器） 一．概述 本次爬虫主要通过论文的入藏号来检索出该论文，从而爬取该论文的被引量，近180天下载量以及全部下载量。这里使用的是Web of Scienece 核心合集，并且使用python的selenium库进行模拟浏览器的操做 二．网站及爬取策略分析 首先点击http://apps.webofknowledge.com/UA_GeneralS
爬虫入门
jgzquanquan的博客
11-13 9913
爬虫入门 1.   概述 本文首先介绍Requests库如何自动爬取HTML页面以及如何自动网络请求提交，随后将会讲解如何阅读网络爬虫排除标准。获取了网页之后用BeautifulSoup库解析HTML页面，然后讲解正则表达式，以及如何用正则表达式提取网页关键信息。当然会有很多实战内容如下： • 京东商品页面的爬取 • 亚马逊商品页面的爬取 • 百度/360搜索关键字提交 • 网络图片的
淘宝商品价格定向爬虫
jgzquanquan的博客
11-14 4332
淘宝商品价格定向爬虫 （1）  目标：获取淘宝搜索页面的信息，提取其中的商品名称和价格 要实现淘宝的搜索接口，翻页的处理。主要采用了Requests， bs4库，re库 （2）程序的结构设计： 步骤1：提交商品搜索请求，循环获取页面       getHTMLText()   def getHTMLText(url):     try:         r = reque
web of science使用方法
最新发布
11-18
Web of Science是一个综合性的学术数据库，包含了各个领域的文献信息。以下是Web of Science的使用方法： 1.登录方式： - 高校官网（内网）-图书馆官网-资源-外文常用数据库，找到Web of Science选项点击进去即可。 - 直接输入网址https://www.webofscience.com/，可以浏览器收藏便于下次打开。 2.文献搜索： - 在搜索框中输入关键词，可以使用布尔运算符AND、OR、NOT来组合关键词。 - 在搜索结果页面，可以根据时间、作者、期刊等信息进行筛选。 - 点击文章标题可以查看摘要、作者、期刊等信息。 - 点击出版商处的全文，可以进一步加载到期刊该文章的页面，查看配图、摘要、数据等信息。 3.文献下载： - 从数据库加载到官网首页，直接下载（针对开源）。 - 第三方协助下载如，Sci-hub多个镜像地址/谷歌学术/百度学术/Scidown/EndNote其他插件或软件。 - 文献求助群或者百度学术等求助。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 26
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值