基于Python爬虫的论文文献检索系统

一、项目背景

文献检索是论文写作中一个重要环节，是写好论文的必要手段。论文写作的前提是必须掌握尽可能多的文献信息资料，借鉴前人的优秀成果，才能写出好的文章。因此，在写作论文时，如何学会快速检索文献资料，懂得文献查找的方法和技巧显得尤为重要。文献检索是借助检索工具或检索系统，运用正确的检索方法，从各种类型的文献中查找所需文献信息的过程。要想快速、详细了解与所写论文相关的文献，掌握文献检索方法是重要的一环，只有选择了科学有效的检索方法，才可以快、精、准地获取大量所需要文献信息，提高检索效率。
本研究是基于Python的网络爬虫技术实现快速地检索相关文献信息，支持论文题目查询和关键词检索，检索出的信息在直接展示的同时实现了持久化存储，即保存为txt格式的文本文件。文献检索系统支持批量导入导出功能和自主选择所需信息等功能。

二、程序设计思路

关于程序的设计思路，Python爬虫是第一步需要完成的工作。Python是一种面向对象的解释型高级编程语言，它的设计哲学为优雅、明确、简单。Python凭借其强大的功能和丰富的第三方库，并且简单易学而广受好评。同时，python在爬虫领域有着众多解决方案和完善的框架以及第三方库，这使得python几乎成为了爬虫的代名词。爬虫（spider）是指向网站/网络发起请求，获取资源后分析并提取有用数据的程序。如果按照过程来划分的话，爬虫可以分为四步：发起请求、获取响应内容、解析数据、保存数据。
首先，打开目标网站首页（https://dblp.org/），按下F12键打开浏览器的开发者工具，并切换到network选项卡下，在浏览器的搜索