使用Scrapy、PhantomJS和Selenium爬取知网文献摘要

最新推荐文章于 2024-06-26 14:11:16 发布
最新推荐文章于 2024-06-26 14:11:16 发布
阅读量2.9k 收藏 16
点赞数
文章标签： 知网文献摘要 Scrapy PhantomJS Selenium 网络爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kc_a_co/article/details/81072542
版权
本文介绍如何使用Scrapy、PhantomJS和Selenium爬取知网的医药卫生科技类文献摘要。首先通过Scrapy创建项目，接着利用PhantomJS和Selenium进行搜索操作，进入摘要页面。然后在spiders中编写爬虫，最后通过pipelines将摘要保存为文本。文章中还列举了部分爬取结果，探讨了爬取过程中遇到的问题和解决方案。
摘要由CSDN通过智能技术生成

使用Scrapy、PhantomJS和Selenium爬取知网文献摘要。以下例子用于爬取“医药卫生科技”类文献摘要。

1.使用Scrapy创建项目

scrapy startproject cnki

2.进入cnki文件夹创建HtmlFilter.py用于除去标签

具体实现请参考：https://blog.csdn.net/kc_a_co/article/details/81052101

3.爬取摘要

摘要内容在

http://kns.cnki.net/kns/brief/brief.aspx?curpage=1&RecordsPerPage=50&QueryID=1&ID=&turnpage=168&tpagemode=L&dbPrefix=SCDB&Fields=&DisplayMode=custommode&PageName=ASP.brief_result_aspx#J_ORDER&

但不能直接打开，需要先进入http://kns.cnki.net/kns/brief/result.aspx?dbprefix=SCDB

点击搜索后才能正常进入上个页面

所以选择使用PhantomJS+Selenium先进行搜索操作，并返回摘要界面内容

（1）建立spiders同级的MidWare文件夹，并新建Selenium.py

实现参考：

https://blog.csdn.net/qq_30242609/article/details/70859891

https://blog.csdn.net/u012745777/article/details/50506822

from selenium import webdriver
最低0.47元/天 解锁文章
KC_A_CO
关注
Python-Selenium Webdriver+google chrome浏览器爬取中国知网的文献概述
weixin_37806591的博客
01-14 1962
Python-Selenium Webdriver+google chrome浏览器爬取中国知网的文献概述 目录Python-Selenium Webdriver+google chrome浏览器爬取中国知网的文献概述前言一、使用webdriver的注意事项二、开始码代码1.引入库&总体思路2.检索部分3.文献url批量爬取4.文献详情爬取+excel保存总结完整代码参考内容 前言 小白的第一篇文章！最近假期写专利需要参考知网所有相关专利文献，一篇篇点进去看实在太慢了。。一气之下就写了个pytho
用requests, BeautifulSoup, Selenium两种方法爬取百度学术论文标题、摘要、下载链接等信息，并保存在本地
qq_40245259的博客
05-08 1650
学了一半的python爬虫，今自己摸索着运用先前所学知识写了个项目： 用户输入关键词，便能爬取百度学术上文章标题、作者、摘要、下载链接等（自定义页数），并保存在本地。 需要用到的模块： import requests from bs4 import BeautifulSoup from urllib.request import quote 网页版的百度学术： 将用户输入的...
scrapy知网专利爬虫
04-05
使用Scrapy框架开发爬取中国知网专利信息的爬虫,可以提供以下500字的说明: Scrapy是一个功能强大、高效的Python网络爬虫框架,非常适合用于爬取中国知网这样的专业学术资源网站。利用Scrapy可以快速开发一个高质量的知网专利信息爬虫。 首先,需要确定要爬取的目标信息。对于知网专利,可以包括专利名称、专利号、专利类型、申请人、发明人、申请日期、授权日期、引用次数等关键字段。 然后, 设计爬虫的抓取流程。一般来说,可以分为以下几个步骤: 1. 确定入口URL。可以从知网的专利检索入口页开始,构造初始爬取URL。 2. 解析搜索结果页。使用Scrapy的Selector解析器,提取每个专利条目的详情页URL。 3. 抓取专利详情页。访问每个专利详情页,使用Selector解析出所需的各项专利信息。 4. 存储数据。可以将解析到的专利数据保存到CSV文件或者数据库中。 在Scrapy中,这些步骤可以通过Item、Spider、Pipeline等组件很好地实现。其中,Item定义了需要抓取的数据结构,Spider负责页面抓取和数据提取,Pipeline负责数据的存储
scrapy爬虫实战：如何爬取中国社会科学院文献库数据？
最新发布
Ob2024的博客
06-26 1561
通过这篇文章，我们可以了解到爬虫的基本原理，以及如何使用scrapy框架进行爬取。scrapy框架是常用的爬虫工具之一，本文将介绍如何通过scrapy爬虫实现中国社会科学院文献库数据的爬取。在本例中，我们需要找到文献库的具体页面，并提取相应的数据。具体来说，我们需要设置start_urls参数，用来定义我们要爬取的网址，以及parse函数，用来处理网站的响应数据。其中，cssrc_spider为我们之前设置的spider名称，cssrc.json为我们输出的数据文件名。一、安装scrapy。
scrapy知网爬虫项目-1（scrapy了解及环境搭建）
weixin_13107613013的博客
05-27 688
Scrapy Engine(引擎): 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。 Scheduler(调度器): 它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。 Downloader(下载器): 负责下载Scrapy Engine(引擎)发送的所有Requests请求...
知网论文抓取selenium
sober_pluto的博客
06-15 386
from selenium import webdriver import time import xlwt import os from selenium.webdriver import ActionChains from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected
知网论文信息获取selenium
sober_pluto的博客
06-15 273
from selenium import webdriver import time import xlrd import xlwt import os from selenium.webdriver import ActionChains from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support imp
如何利用Scrapy爬虫框架抓取网页全部文章信息（下篇）
pdcfighting的博客
11-16 1083
击上方“Python爬虫与数据挖掘”，进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤天长路远魂飞苦，梦魂不到关山难。/前言/在上篇文章中，如何利用Scr...
在scrapy中使用phantomJS实现异步爬取的方法
01-21
使用selenium能够非常方便的获取网页的ajax内容，并且能够模拟用户点击和输入文本等诸多操作，这在使用scrapy爬取网页的过程中非常有用。 网上将selenium集成到scrapy的文章很多，但是很少有能够实现异步爬取的，...
py抓取知网论文摘要
03-10
py抓取知网论文摘要，使用python能够抓取，知网搜索链接中的 标题 链接 摘要 等信息
基于Python3的动态网站爬虫，使用selenium+phantomjs实现爬取动态网站, 本项目以爬取今日头条为例.zip
12-30
本项目聚焦于使用Python3构建动态网站爬虫，主要依赖于selenium库和PhantomJS浏览器模拟器，以爬取像今日头条这样的动态网页内容。下面将详细解释这些关键知识点。 **Python3**: Python是一种高级编程语言，以其...
scrapy+selenium爬取淘宝
qq_40154483的博客
05-15 1166
------------------taobao.py--------------------- # -*- coding: utf-8 -*- import scrapy from scrapy import Request from urllib.parse import quote from ..items import ScrapyseleniumtestItem class Tao...
Scrapy抓取知乎网站
TheWeiJun的博客
10-24 421
今天给大家带来如何抓取知乎网站中最新热点栏目中的信息，获取里面的标题、内容、作者、网友评论、点赞量等信息。获取这些数据可以提取我们想要的内容进行数据分析和数据展示，建立一个自己的网站，将获取的内容进行展示！ ###1.软件安装scrapy+selenium+chrome(详情见我的上一篇文章，这里就不提了) ###2.接下来我就直接上代码，并进行一定的详解 ######1）首先要抓取知乎的数据...
scrapy知网爬虫项目-2（项目创建）
weixin_13107613013的博客
05-27 551
新建一个目录文件 开启命令行进入该文件夹下 输入命令：scrapy startproject mySpider 创建的项目目录如下： zhiwang/ scrapy.cfg zhiwang/ __init__.py items.py pipelines.py settings.py spiders/ ...
爬虫练习（二）爬取知网上文章的摘要
xinbingo的博客
11-24 1153
因为一些特殊的需要，需要爬取一些数据，对之前的进行了更改。供大家交流。 from selenium import webdriver from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.common.by import By from selenium.webdrive
使用selenium进行对手机知网的爬取
蜘蛛侠的博客
07-21 766
在留校期间，学习了selenium这个强大的python库，它的使用完全解决了对一些经过js渲染的网页的解析和爬取，它可以实现人对网页的基本操作，这样也网站上的反爬有了很有效的解决，虽然单体运行速度是慢了，但是在之后可以把它加入到Scrapy框架里面，然后实现分布式，提高爬去速度的，接下来我讲讲我是用它进行的一个对手机知网的文献标题和作者还有简介的爬取。 1.在大家使用selenium之前，要先下...
selenium 知网爪巴虫
颹蕭蕭
09-20 2088
知网爬虫的第一步，输入检索条件 selenium 通过模拟鼠标点击，自动实现：选择检索词的类别、输入检索词、选择精确还是模糊查找、逻辑关系、点击检索按钮等一系列动作 而你所需要做的，就是给出搜索条件： search_words = '摘要:地理探测器(精确) OR 摘要:geodetector(精确)' 首先将搜索条件处理成四元组：（逻辑关系，搜索类型，搜索词，精确|模糊） search_words = 'BEG '+search_words pieces = search_words.split(' .
Python-Selenium Webdriver+google chrome浏览器爬取中国知网的文献之二
weixin_37806591的博客
07-07 1456
目录前言整体思路及环境搭建爬虫流程检索部分URL批量爬取文献详情爬取及excel保存总结完整代码参考内容 前言 之前寒假里为了发专利，写了一篇用python+selenium爬取中国知网专利的攻略，好家伙这隔了几个月老板又让用同一个主题发会议论文了。正好这里优化一下上次的代码，这次不去专利专区了，就看正常的知网检索，爬取一下同一主题相关的期刊、论文。 前文指路：Python-Selenium Webdriver+google chrome浏览器爬取中国知网的文献概述 整体思路及环境搭建 整体思路：就我找文
scrapy框架参考文献
01-07
Scrapy 是一个开源的 Python 网络爬虫框架，用于从网站中提取结构化的数据。以下是一些常见的Scrapy框架参考文献： 1. 官方文档：Scrapy官方文档包括完整的教程、API文档、配置指南和实用技巧。官方文档提供了深入了解Scrapy框架的重要资源。你可以在Scrapy官方网站上找到官方文档。 2. 《Learning Scrapy》一书：这本书由Dimitrios Kouzis-Loukas编写，是一个很好的入门读物。它从基础知识开始介绍Scrapy框架，并逐步深入讲解如何使用Scrapy爬取网站数据、处理数据和写入数据。 3. 《Web Scraping with Python》一书：这本书由Ryan Mitchell编写，虽然不是完全关注Scrapy，但是它提供了有关网页抓取和数据提取的广泛知识，包括使用Scrapy框架。 4. Scrapy Cookbook：这是一个开源项目，致力于提供有关Scrapy的实用示例、代码和技巧。你可以在GitHub上找到该项目，并从中获取实战经验。 5. Scrapy社区论坛：Scrapy社区论坛是一个互动讨论和学习的地方，你可以在论坛上发布问题、回答问题，以及浏览其他用户的帖子。这是一个有益的资源，用于了解Scrapy框架的最新动向和疑难解答。 除了以上参考文献，还有许多Scrapy教程、博客文章和技术文档可以帮助你更好地理解和应用Scrapy框架。在学习Scrapy框架时，最重要的是动手实践和不断积累经验。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值