基于Python的DBLP数据库爬虫系统

最新推荐文章于 2024-06-06 12:37:58 发布
最新推荐文章于 2024-06-06 12:37:58 发布
阅读量9.3k 收藏 2
点赞数 4
分类专栏： Python 文章标签： python 爬虫 数据库 数据 软件工程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014285517/article/details/49762339
版权

要写个爬虫爬些数据，以前没写过爬虫，网上查下Python挺方便的，花了一晚上把Python入了个门就开始写了，写篇博客记录下这个过程。


1.     功能需求看下图：  


2.     设计说明

本系统的编程语言为Python,Python通过MySQLdb来连接数据库并进行各项操作，通过spynner库来解决动态加载的页面，spynner依赖pyqt，pyqt依赖sip。

数据库的E-R图设计如下（偷个懒，，不用Visio了。。）：

最低0.47元/天 解锁文章
xtrb
关注
专栏目录
基于Python爬虫的论文文献检索系统
lyccomcn的博客
06-30 1031
要想快速、详细了解与所写论文相关的文献，掌握文献检索方法是重要的一环，只有选择了科学有效的检索方法，才可以快、精、准地获取大量所需要文献信息，提高检索效率。首先，需要实例化一个etree对象，将响应的内容作为参数传递到etree对象中，然后使用xpath表达式获取到文献的BibTeX格式的链接和文献的标题信息，把对应的链接和标题信息放到一个列表中。如果输入的是关键词的话，则处理前十条信息。在上图的函数中，还实现了对会议论文的booktitle的修改，实现了arxiv的论文格式中的journal内容的修改。
DBLP 搜索爬虫项目
mywang88的博客
12-14 2181
mywang88 2018-12-14 简介 由于项目需要，计划抓取 dblp 网站关键词搜索结果的文章列表。 目标站点：dblp: computer science bibliography 以及文章所属期刊网站 维基词条：DBLP - Wkikpedia 1 流程设计 从需求方获取“关键词列表”。 在 DBLP 主页，使用关键词列表中的每个关键词，发起搜索。 获取搜索结果页面中，每个条目（文...
dblp-xml-spider:DBLP论文信息XML简易爬虫
05-10
dblp-xml-spider 作业用
python爬虫：通过DBLP数据库获取数据挖掘顶会KDD在2023年的论文收录和相关作者信息
weixin_73004416的博客
03-20 2884
读取整个页面的 html 内容并解码为文本串（可使用urllib.request的相应方法），将其以UTF-8编码格式写入page.txt文件。
dblp 数据库(mark)
cnjs1994的博客
07-21 682
dblp数据库
python爬虫开发数据库设计_基于Python的DBLP数据库爬虫系统
weixin_39867327的博客
11-24 516
老师让写个爬虫帮他爬点数据，以前没写过爬虫，网上查下Python挺方便的，花了一晚上把Python入了个门就开始写了，写篇博客记录下这个过程。最近在上软件工程，用用软件工程那套来写下，嘿嘿。1. 需求分析Python爬虫系统，对DBLP（http://dblp.uni-trier.de/）的论文信息进行爬取并存储数据库，爬取信息包括论文题目、作者、论文发表的会议名称、页码、年份、开会地点、...
基于Java的DBLP数据库爬虫系统
u014285517的专栏
05-30 2011
Java爬虫系统，对DBLP（http://dblp.uni-trier.de/）中的论文信息进行爬取，爬取信息包括论文题目、作者、论文发表的会议名称、页码、年份、开会地点、开会日期等信息。姓名的姓和名分两个字段存储。将上述数据存入Mysql数据库。 基本过程 ---- 1．获取HTML 　　使用HttpURLConnection获取网页源代码字符串。实现了动态页面的加载（通过Chrome DevTools对网
DBLP
SSSummering114的专栏
01-09 792
DBLP是一个计算机科学文献数据库，包含大量结构化信息。
DBLP数据集_10K
10-30
Matlab处理好的DBLP数据集，应用与异构网推荐，以及学术作者镜像生成
DBLP（2017-2018）部分数据集
10-28
dblp数据集中2017和2018年发表的论文情况，通过对原始的数据进行的清洗所得。 该资源为研究所用，使用请注明。
DBLP数据集的简单处理
11-25
使用Python语言对DBLP数据集通过sax方式进行简单处理并存放到csv文件中。处理过程非常简单，请根据需要进行下载。
python 爬取dblp相关论文
最新发布
weixin_44287798的博客
06-06 199
上面的论文我是通过爬取论文获得对应excel文件，现在开源给大家。祝大家学业有成，paper多中！
【dblp笔记】
weixin_45774924的博客
10-30 666
对DBLP系统的使用笔记
数据结构大作业-DBLP科学文献管理系统（一） XML解析，文件哈希，C++线程
m0_51776409的博客
05-14 2296
在程序中，需要解析的DBLB文件大小为3G-4G的。因此每次启动程序前都读取一遍DBLP并全部写入内存的方法是不现实的，这需要我们提前在磁盘中建立对应的数据库文件，在第一次打开程序时进行建立数据库的操作，将需要的数据写入磁盘。之后对DBLP的数据查询只需要打开已经建立好的数据库进行IO操作即可。 由于数据在磁盘和内存中的读取速度差距极大，在磁盘中删改添加数据效率是很低的，因此如何建立对应数据的索引，以及在选择一个在磁盘文件中容易维护的数据结构是非常重要的。在保证查找效率时，......
DBLP数据集使用Python解析
程序萌部落
11-12 2262
dblp的使用 总的来说，DBLP集成元素不多，只有最基本的论文题目，时间，作者，发表类型及期刊或会议名称等等。可能很多人想要的标签、关键词都没有。但是，基于DBLP数据集这些基本的元素，可以挖掘、利用的也是很多。例如官网给出的统计信息，就能引申出很多东西。 涉及到DBLP，我能一下想到的关键词：经典的复杂网络，小世界，无标度，合作关系网，关系推荐...
python抓取dblp网站的arXiv论文，下载保存成pdf
weixin_42781851的博客
04-08 3512
python抓取dblp网站的arXiv论文，下载保存成pdf 需求 需要查找一些关于强化学习决策方面的论文，懒得一个一个下载，所以用python写了个脚本，在dblp网站上爬取论文。 import urllib.request import re import os req = urllib.request.Request('https://dblp.uni-trier.de/search?q...
python解析dblp的xml文件
04-10
这个问题需要解析DBLP的XML文件，可以使用Python来完成。Python有一些库，如xml.etree.ElementTree和lxml，可以方便地读取和解析XML文件。使用这些库可以将XML文件解析成Python中的数据结构，如字典或列表。这些结构...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值