Python实现文献数据挖掘系统(附源码)

系统简介

设计并实现了一个基于Django+LayUI+HBase的文献数据挖掘系统，以帮助科研人员分析出相关科技前沿领域的专家、机构等的学术影响力。并挖掘领域高频词和不同协作者之间的关系图谱，如此便可达到科研决策支持的目的。

文末有源码

功能架构设计

本系统的功能主要分为三个模块，分别是数据统计分析结果展示平台、后台管理系统和数据存储平台，其总体功能架构如图所示。

系统实现

1、开发环境及框架配置

考虑到系统需求，采用在CentOS系统上，搭建整个开发和运行环境，其中包括Hadoop分布式平台以及HBase分布式数据库，在Win10上搭建Django框架和关系型数据库MySQL等必要的开发环境。

2、主要技术实现过程

1. 搭建Hadoop平台：使用四台云主机(CentOS7.5)搭建集群，配置好HDFS，ZooKeeper和HBase。

2. 异步爬取数据：使用Python中的asyncio和aiohttp库实现异步爬虫，从而异步爬取AAAI人工智能会议的历年论文元数据(包括论文标题、摘要、作者、机构以及关键词等数据)存储到Excel表中，并对爬取的数据进行规则清洗和必要的人工清洗得到较为干净的数据。

3. 数据分析：①利用Excel函数进行数据去重、统计、排序；②利用Python构建作者数据的共现矩阵，然后将其三元组数据导入至Gephi软件进行复杂网络可视化并导出SVG可伸缩矢量图片；③利用LDA主题模型对论文摘要进行主题聚类，得到top5热门话题；④最终将清洗后的完整数据以及分析结果数据存储至位于云端的HBase中。

4. Web系统开发：使用Django+LayUI+Bootstrap开发(对于前端样式冲突问题可通过提升优先级解决)，主要功能有注册登录、忘记密码邮箱验证、个人中心信息修改、全局检索、论文下载、数据分析结果展示(使用Echart