基于Java的DBLP数据库爬虫系统

最新推荐文章于 2022-08-01 16:34:06 发布
VIP文章 最新推荐文章于 2022-08-01 16:34:06 发布
阅读量1.9k 收藏 3
点赞数 2
分类专栏： Java 文章标签： java爬虫 数据库 多线程 ubuntu Jsoup
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014285517/article/details/72811304
版权

项目平台

笔记本电脑系统：Ubuntu 16.04.2 LTS
Java version “1.8.0_51”
Mysql Server version: 5.7.17
可视化数据库管理工具：MySQL Workbench 6.3
Java version “1.8.0_51”
相关jar包：c3p0-0.9.2.1，jsoup-1.10.2，mchange-commons-java-0.2.3.4，mysql-connector-java-5.1.34-bin

实现功能

　　Java爬虫系统，对DBLP（http://dblp.uni-trier.de/）中的论文信息进行爬取，爬取信息包括论文题目、作者、论文发表的会议名称、页码、年份、开会地点、开会日期等信息。姓名的姓和名分两个字段存储。将上述数据存入Mysql数据库。

基本过程

1．获取HTML
　　使用HttpURLConnection获取网页源代码字符串。实现了动态页面的加载（通过Chrome DevTools对网页请求进行分析，按F12键，http://dblp.dagstuhl.de/search/publ/inc?q=ASPLOS&h=2&f=0，拿到这个请求链接后，只要修改其中的q（会议名），h（加载的论文数）

最低0.47元/天 解锁文章
xtrb
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
DBLP-Extractor
06-16
DBLP数据 数字书目和图书馆项目提供开放的书目信息，完整数据包含在 XML 中，可从下载。 此代码处理 DBLP 数据以提取作者和合著者。 指示： 将 xml 文件和代码移到同一目录中。 进入目录并编译它们：javac Parser.java 使用以下命令启动程序：java -mx900M -DentityExpansionLimit=2500000 Parser dblp.xml > out.txt 结果将存储在 out.txt 中
java笔试题csdn-dblp-parser:一个解析dblp.xml的java工具
06-20
java笔试题csdn DBLP XML 解析器 这是一个解析 dblp.xml() 并将过程存储到 MySQL 数据库中的工具。 具体来说， <inproceedings>下的作者、会议、论文、引文四个关键信息将被提取出来，作为四张表存储在MySQL数据库中。 请参阅数据库架构。 最初的代码是我在 2010 年初为我的本科论文编写的。 经过一些修改，我在 2013 年 9 月发布了代码，后来将其迁移到了 GitHub。 我仍在积极维护代码，例如，修复错误以及尝试实现新功能。 因此，如果您有任何问题或建议，请与我联系。 谢谢！ 如何使用 从 下载dblp.xml和dblp.dtd ，并将它们保存在同一文件夹中。 使用 MySQL 转储文件 (dblp.sql) 还原数据库 假设您已经安装了 MySQL 数据库（5.5 或更高版本）。 您可以先登录到您的 MySQL，然后使用“source”命令来恢复数据库： mysql>> source path_of_dblp.sql 如果一切顺利，一个名为 dblp 的数据库已创建，其中包含四个表（即作者、引文、会议、论文）。 配置数据库连接 请根
dblp-visualizer:dblp-visualizer
05-13
dblp-visualizer 根据或资源描述框架，DBLP Visualizer可以显示作者和共同作者，作者和文章以及具有相同名称的作者之间的关系。 跑步 $ npm install $ npm run serve 演示版 执照 麻省理工学院
dblp:DBLP助手类
05-05
dblp DBLP解析器。 Parser.java解析dblp.xml文件。 此外，还包括“ Person和“ Publication类。
DBLP数据集的简单处理
11-25
使用Python语言对DBLP数据集通过sax方式进行简单处理并存放到csv文件中。处理过程非常简单，请根据需要进行下载。
dblp-xml-spider:DBLP论文信息XML简易爬虫
05-10
dblp-xml-spider 作业用
基于Python的DBLP数据库爬虫系统
u014285517的专栏
11-10 9220
老师让写个爬虫帮他爬点数据，以前没写过爬虫，网上查下Python挺方便的，花了一晚上把Python入了个门就开始写了，写篇博客记录下这个过程。 最近在上软件工程，用用软件工程那套来写下，嘿嘿。 1.     需求分析 Python爬虫系统，对DBLP（http://dblp.uni-trier.de/）的论文信息进行爬取并存储数据库，爬取信息包括论文题目、作者、论文发表的会议名称、页码、
批量论文自动下载——从dblp数据库中查找并爬取论文
小郁同学
09-28 2944
前言 个人需要爬取一些论文资料, 所以根据CSDN上已有的代码进行修改, 完成了一个可以根据dblp检索结果爬取论文的脚本.
DBLP 搜索爬虫项目
mywang88的博客
12-14 2121
mywang88 2018-12-14 简介 由于项目需要，计划抓取 dblp 网站关键词搜索结果的文章列表。 目标站点：dblp: computer science bibliography 以及文章所属期刊网站 维基词条：DBLP - Wkikpedia 1 流程设计 从需求方获取“关键词列表”。 在 DBLP 主页，使用关键词列表中的每个关键词，发起搜索。 获取搜索结果页面中，每个条目（文...
Java通过API请求并处理DBLP数据
swy520的博客
11-28 1426
由于研究要用到DBLP数据集，所以这段时间一直在与其作斗争，遇到了很多困难，有点小收获特此记录一下，方便自己和对这方面有兴趣的同学学习，少走些弯路。话不多说，我们开始吧~ DBLP简介     http://blog.csdn.net/ss654271961/article/details/78259546   这篇博客里面有详细的介绍，这里就不再细说。  DBLP数据文件1G多，假
查找文献方法整理
Chral317的博客
08-01 2337
检索相关论文及下载PDF的方法
dblp中查论文
junmuzi的专栏
04-16 7526
查Pattern Recognition期刊的论文： action recognition venue:Pattern_Recognition URL：https://dblp.uni-trier.de/search?q=attention%20%20action%20%20venue%3APattern_Recognition ...
python爬虫开发数据库设计_基于Python的DBLP数据库爬虫系统
weixin_39867327的博客
11-24 467
老师让写个爬虫帮他爬点数据，以前没写过爬虫，网上查下Python挺方便的，花了一晚上把Python入了个门就开始写了，写篇博客记录下这个过程。最近在上软件工程，用用软件工程那套来写下，嘿嘿。1. 需求分析Python爬虫系统，对DBLP（http://dblp.uni-trier.de/）的论文信息进行爬取并存储数据库，爬取信息包括论文题目、作者、论文发表的会议名称、页码、年份、开会地点、...
论文爬取系统 | (1) NLP论文爬取系统概述
sdu_hao的博客
01-24 1109
项目Github地址 在本专栏中，我将试着利用爬虫技术搭建一个论文爬取系统。在日常的科研生活中，不可避免地需要大量查找和阅读相关领域的文献来寻找idea，如何高效并大规模地搜集相关领域的科研文献至关重要，为了避免额外的人力、节约时间，加之博主是做自然语言处理的，所以这款NLP论文爬取系统应用而生，他可以自动地对满足要求的文献进行爬取，并保存在本地指定位置。相比于人工输入关键词检索，对检索结果逐个...
手把手Java爬虫教学 - 8. 项目2 - 数据库表设计 & 爬虫代码实现
胖子胖子大胖子的博客
07-04 683
我们这里需要设计两张表，一个是期刊表，还有一个是文章表；首先是期刊表的字段：发行年份、第几期、请求地址、记录日期；然后是文章表的字段：文章code、期刊id、文章类型、请求地址、文章标题、作者、内容、记录日期； 二、爬虫代码实现 爬虫代码实现和之前的爬博客代码类似，所以我会省略很多代码，详细代码可以去我的 Git 仓库拉取。我们博客爬取是每 20 分钟爬取一次，但是这个文章却不用，它每半个月才会去更新一次~，这里我是让他每天凌晨 2 点更新一次。@Scheduled(cron = "0 0 2 * *
挖掘DBLP作者合作关系，FP-Growth算法实践（1）：从DBLP数据集中提取目标信息（会议、作者等）
mmc2015的专栏
03-26 5035
首先从官网下载DBLP数据集http://dblp.uni-trier.de/xml/只需下载 dblp.xml.gz 解压后得到1G多dblp.xml文件！文件略大。 从原始数据中提取样本： r=open("dblp.xml","r") w=open("dblpExample.xml","w") for i in range(30): print
挖掘DBLP作者合作关系，FP-Growth算法实践（2）：从DBLP数据集中提取信息，三种源码（dom，sax，string）
mmc2015的专栏
03-28 1895
上篇文章：http://blog.csdn.net/mmc2015/article/details/50988375 （挖掘DBLP作者合作关系，FP-Growth算法实践（1）：从DBLP数据集中提取目标信息（会议、作者等）） 大家反映代码不能用，主要是太慢了，好吧，我也承认慢，在内存构造树，肯定的！ 这次给出另外两种。 为了完整，先给出dom： #do not use
强烈推荐DBLP数据集，其中包含了大部分作者的论文信息，可以研究研究
07-04 2625
http://www.informatik.uni-trier.de/~ley/db/ 可以用http://dblp.l3s.de/?q=&newQuery=yes&resTableName=query_result6zHWbK对DBLP数据集进行检索，该网站将DBLP的数据保存为语义网形式
Software Engineering：软件工程领域相关的会议和期刊（包含DBLP索引网址，以供每天的论文阅读）（含CCF）
the Blog of 等不到天亮丶等时光
07-01 596
如题。以后想每天读几篇论文，所以想搜罗、网罗一下相关的会议、期刊的列表，以及DBLP的网址，以供每天可以选几篇瞧一瞧。
java实现dblp数据查找
最新发布
04-29
Java可以通过相关的API来实现对DBLP（数据库系统和理论计算机科学领域的电子学术文献）数据的查找。以下是实现方法： 1. 首先，需要准备DBLP数据文件的XML格式文件，可从DBLP官网下载。 2. 然后，使用Java DOM或...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值