摘要
信息化社会内需要与之针对性的信息获取途径,但是途径的扩展基本上为人们所努力的方向,由于站在的角度存在偏差,人们经常能够获得不同类型信息,这也是技术最为难以攻克的课题。针对舆情分析系统等问题,对舆情分析系统进行研究分析,然后开发设计出舆情分析系统以解决问题。
舆情分析系统主要功能模块包括用户管理、学院舆情、舆情分类、舆情分析、数据分析,采取面对对象的开发模式进行软件的开发和硬体的架设,能很好的满足实际使用的需求,完善了对应的软体架设以及程序编码的工作,采取Mysql作为后台数据的主要存储单元,采用springboot框架、Java技术、Ajax技术进行业务系统的编码及其开发,实现了本系统的全部功能。本次报告,首先分析了研究的背景、作用、意义,为研究工作的合理性打下了基础。针对舆情分析系统的各项需求以及技术问题进行分析,证明了系统的必要性和技术可行性,然后对设计系统需要使用的技术软件以及设计思想做了基本的介绍,最后来实现舆情分析系统和部署运行使用它。
关键词:springboot技术;MYSQL;舆情分析系统
Abstract
In the information society, there is a need for targeted information access, but the expansion of access is basically the direction of people's efforts. Due to the deviation of the perspective, people can often obtain different types of information, which is also the most difficult subject for technology to overcome. Aiming at the problems of public opinion analysis system, this paper studies and analyzes the public opinion analysis system, and then develops and designs the public opinion analysis system to solve the problems.
The main functional modules of the public opinion analysis system include user management, college public opinion, public opinion classification, public opinion analysis and data analysis. The object-oriented development mode is adopted for software development and hardware erection, which can well meet the needs of practical use, improve the corresponding software architecture and program coding, take MySQL as the main storage unit of background data, and adopt springboot framework, Java technology Ajax technology encodes and develops the business system, and realizes all the functions of the system. This report first analyzes the background, function and significance of the research, which lays a foundation for the rationality of the research work. This paper analyzes the various requirements and technical problems of the public opinion analysis system, proves the necessity and technical feasibility of the system, then makes a basic introduction to the technical software and design ideas needed to design the system, and finally realizes the public opinion analysis system and deploys it.
Keywords:Springboot technology; MYSQL; Public opinion analysis system
1 绪论
1.1研究意义
随着互联网的发展,高校网络舆情已经成为社会关注的热点。在高校管理中,如何有效地掌握和利用大学生对信息资源的需求是一项非常重要且具有挑战性的任务,而舆情分析系统对解决这一问题起到了很好的作用。因此,建立一个基于Java技术的高校学生舆情分析系统,可以为高校提供及时、准确、全面、权威的学生群体动态信息服务。
本文以北京化工大学为例,介绍了舆情分析系统的设计与实现方法。本系统采用B/S架构,使用JAVA语言开发,并运用MVC模式进行数据访问和交互;同时对系统各功能模块进行了详细设计和代码编写,包括用户登录模块、用户信息管理模块、舆情分析及处理模块、数据分析模块以及学院舆情管理模块等;最后通过测试证明该舆情分析系统运行稳定,能够满足实际应用要求。本文首先阐述了高校网络舆情的基本概念、特点及其主要影响因素;然后从舆情监测、舆情预警两个方面论述了高校网络舆情分析系统的总体设计思想,接着分别从系统结构、功能设计和数据库设计三部分详细讨论了系统的具体设计方案。其中,针对舆情监测子系统,提出了一种新的基于聚类算法的舆情分析方法,并根据不同类型用户的特征,给出相应的数据处理流程。此外,为了提高系统整体性能,还引入了多线程编程模型来加快计算效率,并将其用于舆情信息处理过程中。最后,本文对系统各个子功能的具体实现作了说明,重点探讨了舆情采集和处理软件的实现细节,包括:用户登录、舆情信息提取、舆情统计分析、日志维护等几个主要功能模块的程序设计。
通过上述工作,我们初步完成了高校舆情分析系统的研发,并已投入试运行。目前,该舆情分析系统已经被成功部署到学校网站上,并且取得了较好的效果。实践证明,该舆情分析系统不仅能为广大师生了解校园突发事件提供有力支持,而且对于促进和谐校园环境建设也有一定意义。
1.2研究现状
舆情是公众对社会公共事务的一种意见或态度,它反映了一定时期内人们对于各种公共事件的看法。随着互联网技术在我国各个领域的广泛普及,网络已成为舆论形成与传播的主要渠道,而网民通过互联网表达自己对某些事物或问题的观点,情感及态度,也就构成了网络舆情。近年来,随着互联网技术的发展,越来越多的人参与到互联网中,并产生出大量有价值的信息和数据,这使得舆情监测变得更加容易和快捷。因此,如何利用这些海量的网络舆情数据进行有效地挖掘分析,以辅助政府决策显得尤为重要。本文首先介绍了国内外舆情分析研究现状以及当前主流的数据挖掘算法,然后针对当前网络舆情数据分析存在的不足提出基于关联规则挖掘算法的改进方案:该算法采用Apriori算法来挖掘出频繁项集,再使用TF-IDF方法计算候选属性值权重,从而提高其准确率;同时将支持向量机引入其中,实现对传统SVM模型参数选择的优化。最后,设计一个简单且实用的舆情分析原型系统,对系统功能和性能进行测试验证。实验结果表明,本系统对网络舆情具有较高的预测能力,并且可以根据不同用户群体的需求灵活调整相关策略。
论文工作得到以下几个方面的成果:
- 构建一个完整的基于关联规则挖掘的网络舆情分析系统框架,为后续进一步开展工作奠定基础。
- 结合Apriorj算法和TF-IDf计算方法,给出了一种新的基于关联规则的网络舆情分析方法——基于关联规则挖掘技术的网络舆情分析模型。该模型从实际应用角度出发,综合考虑影响舆情演变的因素,建立起一套科学的网络舆情演化机制模型,使其能更好地指导舆情监控实践活动,进而提升网络舆情预警水平。
- 在现有研究成果的基础上,提出一种适合于大范围舆情监测的关联规则挖掘算法,能够快速高效地挖掘出频繁项集中隐含的知识规则,以便更准确地判断舆情发展趋势。
1.3系统开发技术的特色
(1)舆情分析系统 中的web后台管理中的后端不再使用古老的jsp+javabean+servlet技术,而是使用当前主流的springboot框架,它减少java配置代码,简化编程代码,目前springboot框架也是很多企业选择的框架之一。
(2)舆情分析系统 中的web后台管理中的前端使用的是JavaScript框架,它配合ajax[8]和jquery可以美化页面设计。
(3)舆情分析系统 中数据库用的mysql5.7,它执行效率高。
1.4论文结构与章节安排
论文将分层次经行编排,除去论文摘要致谢文献参考部分,正文部分还会对网站需求做出分析,以及阐述大体的设计和实现的功能,最后罗列部分调测记录,论文主要架构如下:
第一章:引言。第一章主要介绍了课题研究的背景,系统开发的现状和本文的研究意义与主要工作。
第二章:系统需求分析。第二章主要从系统的用户、功能等方面进行需求分析。
第三章:系统设计。第三章主要对系统框架、系统功能模块、数据库进行功能设计。
第四章:系统实现。第四章主要介绍了系统框架搭建、系统界面的实现。
第五章:系统测试。第五章主要对系统的部分界面进行测试并对主要功能进行测试
2 舆情分析系统分析
系统分析是开发一个项目的先决条件,通过系统分析可以很好的了解系统的主体用户的基本需求情况,同时这也是项目的开发的原因。进而对系统开发进行可行性分析,通常包括技术可行性、经济可行性等,可行性分析同时也是从项目整体角度进行的分析。然后就是对项目的具体需求进行分析,分析的手段一般都是通过用户的用例图来实现。下面是详细的介绍。
2.1 可行性分析
在项目上使用的工具大部分都是是当下流行开源免费的,所以在开发前期,开发时用于项目的经费将会大大降低,不会让开发该软件在项目启动期受到经费的影响,所以经济上还是可行的。尽量用最少的花费去满足用户的需求。省下经费用于人工费,以及设备费用。将在无纸化,高效率的道路上越走越远。
所以经济可行性没有问题。
(2)操作可行性:
此次项目设计参考了几个该模式下网站的开发案例,对他们的操作界面分析,将众多案例结合在一起,突出以人为本简化操作,所以具有基本计算机知识的人都会操作本项目。
因此操作可行性也没有问题。
(3)技术可行性:
技术可行性指的是对于搭建框架的可行性,以及有更优秀的技术出现时系统的技术更新换代的纳新性如何,开发时间成本费用比如何。
现有的springboot技术能够迎合所有电子商务系统的搭建。开发这个舆情分析系统 的时候我采用了springboot+MYSQL用以运行整体程序。
综上所述技术可行性也没有问题。
(4)法律可行性:
从开发者角度来看,springboot和MYSQL是网上开源且免费的,在知识产权方面不会产生任何法律纠纷。
从用户使用角度来看,只要不再系统上贩卖违禁品,对系统做出条约协议,杜绝非法支付即可。
综上所述法律可行性也没有问题。
2.2系统流程分析
业务流程是用一些特定的符合和线条来进行演示用户在使用系统时的过程,在进行系统分析的时候,业务流程可以帮助开发人员更好的理解业务,发现错误,完善系统。
2.2.1 数据增加流程
用户成功登入系统后就能够实现增加数据的操作,增加数据的编号是特定的,系统生成,用户不能随意填写,除了编号以外,其他增加信息用户自己填写,填写后的信息经过系统验证,验证合法通过就显示增加数据成功了,相反的话,就没有增加成功,图2-1显示的就是在增加数据时的流程。
![](https://i-blog.csdnimg.cn/direct/5a7c6f9cf817432696b0ac762710639a.png)
图2-1 数据增加流程图
2.2.2 数据修改流程
数据修改时的流程和上面介绍的数据增加时的流程差不多,如图2-2所示。
![](https://i-blog.csdnimg.cn/direct/b017b9da16d547ae824a7a70f257f65b.png)
图2-2 数据修改流程图
2.2.3 数据删除流程
如果系统里面存在一些没有用的数据的话,相关的管理人员还可以对这些数据进行删除,图2-3就是数据删除时的流程图。
![](https://i-blog.csdnimg.cn/direct/212f11ba66e64af48cdeb4c298382719.png)
图2-3 数据删除流程图
2.3 系统功能分析
2.3.1 功能性分析
按照舆情分析系统的角色,我划分为了注册用户管理模块和管理员管理模块这两大部分。
用户管理模块:
(1)用户注册登录:用户注册为用户并登录舆情分析系统 ;普通用户对个人信息的增删改查,比如个人资料,密码修改。
(2)查看舆情分析系统的首页信息:舆情分析系统 的首页信息包含了首页、公告消息、交流论坛、学院资讯、舆情分析、我的(我的收藏、我的账户、个人中心)等。
(3)公告消息:当用户当点“公告消息”这一菜单,会显示管理员在后台发布的所有的公告消息,可以查看详情;
(4)学院资讯:当用户点击“学院资讯”这一菜单,会显示管理员在后台发布的所有的学院资讯,可以查看详情,进行收藏、点赞、评论等;
(5)我的收藏:在“我的”下可以查看管理“我的收藏”信息,可以查看收藏,也可以对不喜欢的信息进行删除收藏;
(6)我的账户:当用户点击右上角“我的”这个按钮,会出现子菜单,点击“我的账户”可以对个人的资料以及登录系统的密码进行设置;
(7)个人中心:当用户点击右上角“我的”这个按钮,就会进入到对应的后台进行信息的管理了;
管理员管理模块:
(1)登录:管理员的账号是在数据表表中直接设置生成的,不需要进行注册;
(2)站点管理:当点击“站点管理”这一菜单的时候,会出现轮播图+公告栏两个子菜单,可以对这两个模块进行增删改查操作;
(3)用户管理:当点击“用户管理”这一菜单的时候,会出现管理员+注册用户两个子菜单,可以对这两个模块进行增删改查操作;
(4)内容管理:当点击“内容管理”这一菜单的时候,会出现交流论坛+论坛分类+新闻列表+资讯分类这四个子菜单,能够对用户在前台提交的学院资讯进行管理;
(5)更多管理:当点击“更多管理”这一菜单的时候,会出现学院舆情+舆情分类+舆情分析+数据分析这四个子菜单,能够对这四个模块进行增删改查操作;
2.3.2 非功能性分析
舆情分析系统的非功能性需求比如舆情分析系统的安全性怎么样,可靠性怎么样,性能怎么样,可拓展性怎么样等。具体可以表示在如下3-1表格中:
表3-1舆情分析系统 非功能需求表
安全性 | 主要指舆情分析系统 数据库的安装,数据库的使用和密码的设定必须合乎规范。 |
可靠性 | 可靠性是指舆情分析系统 能够安装用户的指示进行操作,经过测试,可靠性90%以上。 |
性能 | 性能是影响舆情分析系统 占据市场的必要条件,所以性能最好要佳才好。 |
可扩展性 | 比如数据库预留多个属性,比如接口的使用等确保了系统的非功能性需求。 |
易用性 | 用户只要跟着舆情分析系统 的页面展示内容进行操作,就可以了。 |
可维护性 | 舆情分析系统 开发的可维护性是非常重要的,经过测试,可维护性没有问题 |
2.4 系统用例分析
通过2.3功能的分析,得出了本舆情分析系统的用例图:
用户角色用例如图2-3所示。
![](https://i-blog.csdnimg.cn/direct/e9b25b4b1b504838a7848104ea154ecf.png)
图2-3 舆情分析系统普通用户角色用例图
web后台管理上的管理员是维护整个舆情分析系统中所有数据信息的。管理员角色用例如图2-4所示。
![](https://i-blog.csdnimg.cn/direct/6b6fc05c0b594d92b3382038b57c41c5.png)
2.5本章小结
本章主要通过对舆情分析系统的可行性分析、流程分析、功能需求分析、系统用例分析,确定整个舆情分析系统要实现的功能。同时也为舆情分析系统的代码实现和测试提供了标准。
3 舆情分析系统总体设计
本章主要讨论的内容包括舆情分析系统的功能模块设计、数据库系统设计。
3.1 系统架构设计
本舆情分析系统从架构上分为三层:表现层(UI)、业务逻辑层(BLL)以及数据层(DL)。
![](https://i-blog.csdnimg.cn/direct/fff235602c9943dc88801205b9b16dc9.png)
图3-1舆情分析系统 架构设计图
表现层(UI):又称UI层,主要完成本舆情分析系统的UI交互功能,一个良好的UI可以打打提高用户的用户体验,增强用户使用本舆情分析系统时的舒适度。UI的界面设计也要适应不同版本的舆情分析系统以及不同尺寸的分辨率,以做到良好的兼容性。UI交互功能要求合理,用户进行交互操作时必须要得到与之相符的交互结果,这就要求表现层要与业务逻辑层进行良好的对接。
业务逻辑层(BLL):主要完成本舆情分析系统的数据处理功能。用户从表现层传输过来的数据经过业务逻辑层进行处理交付给数据层,系统从数据层读取的数据经过业务逻辑层进行处理交付给表现层。
数据层(DL):由于本舆情分析系统 的数据是放在服务端的mysql数据库中,因此本属于服务层的部分可以直接整合在业务逻辑层中,所以数据层中只有数据库,其主要完成本舆情分析系统的数据存储和管理功能。
3.2 系统功能模块设计
3.2.1整体功能模块设计
在上一章节中主要对系统的功能性需求和非功能性需求进行分析,并且根据需求分析了本舆情分析系统 中的用例。那么接下来就要开始对本舆情分析系统 的架构、主要功能和数据库开始进行设计。舆情分析系统根据前面章节的需求分析得出,其总体设计模块图如图3-2所示。
![](https://i-blog.csdnimg.cn/direct/107ec13874084d32aabb3cdcc89e80ed.png)
图3-2 舆情分析系统功能模块图
3.2.2用户模块设计
后台管理者能够实现对前台注册的用户增删改查操作,用户模块结构图如下图:
![](https://i-blog.csdnimg.cn/direct/548ece30043c4f70b9b4476fde050fe9.png)
图3-3用户模块结构图
3.2.3评论管理模块设计
舆情分析系统是一个交流性质的公开平台,用户用户和管理人员用户可以对平台上信息进行评论,增加用户之间的互动性。但是同时也为了更好的规范评论的内容,给予管理员删除不合适的言论的功能,所以需要专门设计一个评论管理模块,具体的结构图如下:
![](https://i-blog.csdnimg.cn/direct/0addc900bc194627bb77f3dbe493bc74.png)
图3-4评论模块结构图
3.3 数据库设计
数据库设计一般包括需求分析、概念模型设计、数据库表建立三大过程,其中需求分析前面章节已经阐述,概念模型设计有概念模型和逻辑结构设计两部分。
3.3.1 数据库概念结构设计
下面是整个舆情分析系统中主要的数据库表总E-R实体关系图。
![](https://i-blog.csdnimg.cn/direct/b508f52d396946e2bfeca05ba0c08e7a.png)
图3-6 舆情分析系统 总E-R关系图
下面根据舆情分析系统的数据库总E-R关系图可以得出舆情分析系统需要很多E-R图,在此罗列出来一些主要的数据库E-R模型图。
![](https://i-blog.csdnimg.cn/direct/b8fa830ad188425c8fa5a60c8d175c16.png)
图3-7注册用户E-R关系图
![](https://i-blog.csdnimg.cn/direct/0cc316461bb3489f8e06c7f097eedbc9.png)
图3-8 舆情分析E-R关系图
![](https://i-blog.csdnimg.cn/direct/951430f07aad4bf6a783aa0ce4b5c29a.png)
图3-9数据分析E-R关系图
![](https://i-blog.csdnimg.cn/direct/e05f033c725e4990b506c1d00e8199dd.png)
图3-10评论E-R关系图
3.3.2 数据库逻辑结构设计
通过上一小节中舆情分析系统 中总E-R关系图上得出一共需要创建很多个数据表。在此我主要罗列几个主要的数据库表结构设计。
registered_user表:
名称 | 类型 | 长度 | 不是null | 主键 | 注释 |
registered_user_id | int | 11 | 是 | 是 | 注册用户ID |
user_name | varchar | 64 | 是 | 否 | 用户名 |
college | varchar | 64 | 否 | 否 | 学院 |
major | varchar | 64 | 否 | 否 | 专业 |
examine_state | varchar | 16 | 是 | 否 | 审核状态 |
recommend | int | 11 | 是 | 否 | 智能推荐 |
user_id | int | 11 | 是 | 否 | 用户ID |
create_time | datetime | 0 | 是 | 否 | 创建时间 |
update_time | timestamp | 0 | 是 | 否 | 更新时间 |
public_opinion_analysis表: | |||||
名称 | 类型 | 长度 | 不是null | 主键 | 注释 |
public_opinion_analysis_id | int | 11 | 是 | 是 | 舆情分析ID |
time_of_issue | varchar | 64 | 否 | 否 | 发文时间 |
article_address | varchar | 64 | 否 | 否 | 文章地址 |
forwarding_number | varchar | 64 | 否 | 否 | 转发数 |
number_of_comments | varchar | 64 | 否 | 否 | 评论数 |
number_of_likes | varchar | 64 | 否 | 否 | 点赞数 |
user_nickname | varchar | 64 | 否 | 否 | 用户昵称 |
user_authentication_type | varchar | 64 | 否 | 否 | 用户验证类型 |
theme | varchar | 64 | 否 | 否 | 主题 |
public_opinion_category | varchar | 64 | 否 | 否 | 舆情类别 |
cover | varchar | 255 | 否 | 否 | 封面 |
article_content | text | 0 | 否 | 否 | 文章内容 |
public_opinion_analysis | longtext | 0 | 否 | 否 | 舆情分析 |
hits | int | 11 | 是 | 否 | 点击数 |
praise_len | int | 11 | 是 | 否 | 点赞数 |
recommend | int | 11 | 是 | 否 | 智能推荐 |
create_time | datetime | 0 | 是 | 否 | 创建时间 |
update_time | timestamp | 0 | 是 | 否 | 更新时间 |
data_analysis表: | |||||
名称 | 类型 | 长度 | 不是null | 主键 | 注释 |
data_analysis_id | int | 11 | 是 | 是 | 数据分析ID |
theme | varchar | 64 | 否 | 否 | 主题 |
public_opinion_category | varchar | 64 | 否 | 否 | 舆情类别 |
number_of_likes | int | 11 | 否 | 否 | 点赞数 |
date | date | 0 | 否 | 否 | 日期 |
remarks | text | 0 | 否 | 否 | 备注 |
recommend | int | 11 | 是 | 否 | 智能推荐 |
create_time | datetime | 0 | 是 | 否 | 创建时间 |
update_time | timestamp | 0 | 是 | 否 | 更新时间 |
classification_of_public_opinion表 | |||||
名称 | 类型 | 长度 | 不是null | 主键 | 注释 |
classification_of_public_opinion_id | int | 11 | 是 | 是 | 舆情分类ID |
public_opinion_category | varchar | 64 | 否 | 否 | 舆情类别 |
recommend | int | 11 | 是 | 否 | 智能推荐 |
create_time | datetime | 0 | 是 | 否 | 创建时间 |
update_time | timestamp | 0 | 是 | 否 | 更新时间 |
collect表: | |||||
名称 | 类型 | 长度 | 不是null | 主键 | 注释 |
collect_id | int | 10 | 是 | 是 | 收藏ID |
user_id | int | 10 | 是 | 否 | 收藏人ID |
source_table | varchar | 255 | 否 | 否 | 来源表 |
source_field | varchar | 255 | 否 | 否 | 来源字段 |
source_id | int | 10 | 是 | 否 | 来源ID |
title | varchar | 255 | 否 | 否 | 标题 |
img | varchar | 255 | 否 | 否 | 封面 |
create_time | timestamp | 0 | 是 | 否 | 创建时间 |
update_time | timestamp | 0 | 是 | 否 | 更新时间 |
comment表: | |||||
名称 | 类型 | 长度 | 不是null | 主键 | 注释 |
comment_id | int | 11 | 是 | 是 | 评论ID |
user_id | int | 11 | 是 | 否 | 评论人ID |
reply_to_id | int | 11 | 是 | 否 | 回复评论ID |
content | longtext | 0 | 否 | 否 | 内容 |
nickname | varchar | 255 | 否 | 否 | 昵称 |
avatar | varchar | 255 | 否 | 否 | 头像地址 |
create_time | timestamp | 0 | 是 | 否 | 创建时间 |
update_time | timestamp | 0 | 是 | 否 | 更新时间 |
source_table | varchar | 255 | 否 | 否 | 来源表 |
source_field | varchar | 255 | 否 | 否 | 来源字段 |
source_id | int | 10 | 是 | 否 | 来源ID |
3.4本章小结
整个舆情分析系统的需求分析主要对系统总体架构以及功能模块的设计,通过建立E-R模型和数据库逻辑系统设计完成了数据库系统设计。
4 舆情分析系统详细设计与实现
舆情分析系统的详细设计与实现主要是根据前面的舆情分析系统的需求分析和舆情分析系统的总体设计来设计页面并实现业务逻辑。主要从舆情分析系统界面实现、业务逻辑实现这两部分进行介绍。
4.1用户功能模块
4.1.1 前台首页界面
当进入舆情分析系统的时候,首先映入眼帘的是系统的导航栏,下面是轮播图以及系统内容,其主界面展示如下图4-1所示。
![](https://i-blog.csdnimg.cn/direct/da6d1c2579914af3be46d505cd6fcac9.png)
图4-1 前台首页界面图
4.1.2用户登录界面
舆情分析系统中的前台上注册后的学生是可以通过自己的账户名和密码进行登录的,当用户输入完整的自己的账户名和密码信息并点击“登录”按钮后,将会首先验证输入的有没有空数据,再次验证输入的账户名+密码和数据库中当前保存的用户信息是否一致,只有在一致后将会登录成功并自动跳转到舆情分析系统 的首页中;否则将会提示相应错误信息,用户登录界面如下图4-2所示。
![](https://i-blog.csdnimg.cn/direct/17d0eb4178944e15b6f8d2b78d70337e.png)
图4-2用户登录界面图
登录关键代码如下所示。
/**
* 登录
* @param data
* @param httpServletRequest
* @return
*/
@PostMapping("login")
public Map<String, Object> login(@RequestBody Map<String, String> data, HttpServletRequest httpServletRequest) {
log.info("[执行登录接口]");
String username = data.get("username");
String email = data.get("email");
String phone = data.get("phone");
String password = data.get("password");
List resultList = null;
Map<String, String> map = new HashMap<>();
if(username != null && "".equals(username) == false){
map.put("username", username);
resultList = service.select(map, new HashMap<>()).getResultList();
}
else if(email != null && "".equals(email) == false){
map.put("email", email);
resultList = service.select(map, new HashMap<>()).getResultList();
}
else if(phone != null && "".equals(phone) == false){
map.put("phone", phone);
resultList = service.select(map, new HashMap<>()).getResultList();
}else{
return error(30000, "账号或密码不能为空");
}
if (resultList == null || password == null) {
return error(30000, "账号或密码不能为空");
}
//判断是否有这个用户
if (resultList.size()<=0){
return error(30000,"用户不存在");
}
User byUsername = (User) resultList.get(0);
Map<String, String> groupMap = new HashMap<>();
groupMap.put("name",byUsername.getUserGroup());
List groupList = userGroupService.select(groupMap, new HashMap<>()).getResultList();
if (groupList.size()<1){
return error(30000,"用户组不存在");
}
UserGroup userGroup = (UserGroup) groupList.get(0);
//查询用户审核状态
if (!StringUtils.isEmpty(userGroup.getSourceTable())){
String sql = "select examine_state from "+ userGroup.getSourceTable() +" WHERE user_id = " + byUsername.getUserId();
String res = String.valueOf(service.runCountSql(sql).getSingleResult());
if (res==null){
return error(30000,"用户不存在");
}
if (!res.equals("已通过")){
return error(30000,"该用户审核未通过");
}
}
//查询用户状态
if (byUsername.getState()!=1){
return error(30000,"用户非可用状态,不能登录");
}
String md5password = service.encryption(password);
if (byUsername.getPassword().equals(md5password)) {
// 存储Token到数据库
AccessToken accessToken = new AccessToken();
accessToken.setToken(UUID.randomUUID().toString().replaceAll("-", ""));
accessToken.setUser_id(byUsername.getUserId());
tokenService.save(accessToken);
// 返回用户信息
JSONObject user = JSONObject.parseObject(JSONObject.toJSONString(byUsername));
user.put("token", accessToken.getToken());
JSONObject ret = new JSONObject();
ret.put("obj",user);
return success(ret);
} else {
return error(30000, "账号或密码不正确");
}
}
4.1.3用户注册界面
不是舆情分析系统 中正式用户的是可以在线进行注册的,如果你没有本舆情分析系统 的账号的话,添加“注册”,当填写上自己的账号+密码+确认密码+昵称+邮箱+手机号等后再点击“注册”按钮后将会先验证输入的有没有空数据,再次验证密码和确认密码是否是一样的,最后验证输入的账户名和数据库表中已经注册的账户名是否重复,只有都验证没问题后即可用户注册成功。其用用户注册界面展示如下图4-3所示。
![](https://i-blog.csdnimg.cn/direct/11ed702efafc47e28a83e168acf9e782.png)
图4-2用户注册界面图
注册关键代码如下所示。
/**
* 注册
* @param user
* @return
*/
@PostMapping("register")
public Map<String, Object> signUp(@RequestBody User user) {
// 查询用户
Map<String, String> query = new HashMap<>();
query.put("username",user.getUsername());
List list = service.select(query, new HashMap<>()).getResultList();
if (list.size()>0){
return error(30000, "用户已存在");
}
user.setUserId(null);
user.setPassword(service.encryption(user.getPassword()));
service.save(user);
return success(1);
}
/**
* 用户ID:[0,8388607]用户获取其他与用户相关的数据
*/
@Id
@GeneratedValue(strategy = GenerationType.IDENTITY)
@Column(name = "user_id")
private Integer userId;
/**
* 账户状态:[0,10](1可用|2异常|3已冻结|4已注销)
*/
@Basic
@Column(name = "state")
private Integer state;
/**
* 所在用户组:[0,32767]决定用户身份和权限
*/
@Basic
@Column(name = "user_group")
private String userGroup;
/**
* 上次登录时间:
*/
@Basic
@Column(name = "login_time")
private Timestamp loginTime;
/**
* 手机号码:[0,11]用户的手机号码,用于找回密码时或登录时
*/
@Basic
@Column(name = "phone")
private String phone;
/**
* 手机认证:[0,1](0未认证|1审核中|2已认证)
*/
@Basic
@Column(name = "phone_state")
private Integer phoneState;
/**
* 用户名:[0,16]用户登录时所用的账户名称
*/
@Basic
@Column(name = "username")
private String username;
/**
* 昵称:[0,16]
*/
@Basic
@Column(name = "nickname")
private String nickname;
/**
* 密码:[0,32]用户登录所需的密码,由6-16位数字或英文组成
*/
@Basic
@Column(name = "password")
private String password;
/**
* 邮箱:[0,64]用户的邮箱,用于找回密码时或登录时
*/
@Basic
@Column(name = "email")
private String email;
/**
* 邮箱认证:[0,1](0未认证|1审核中|2已认证)
*/
@Basic
@Column(name = "email_state")
private Integer emailState;
/**
* 头像地址:[0,255]
*/
@Basic
@Column(name = "avatar")
private String avatar;
/**
* 创建时间:
*/
@Basic
@Column(name = "create_time")
@JsonFormat(pattern = "yyyy-MM-dd HH:mm:ss")
private Timestamp createTime;
@Basic
@Transient
private String code;
}
4.1.4我的账户界面
当点击导航栏上的“我的”的时候,就会进入对应的界面查看我的账户修改密码、个人资料,我的账户界面如下图4-4所示。
![](https://i-blog.csdnimg.cn/direct/cafb7aec367c44369bbd4c3af9736876.png)
图4-4我的账户界面图
4.1.5交流论坛界面
用户在点击导航栏上面的留言板后,就可以搜索查看留言信息,用户根据自己的喜好可以进行交流,交流论坛界面如下图4-5所示。
![](https://i-blog.csdnimg.cn/direct/0bac9026d86141749aa7b0f2abd060a0.png)
图4-5交流论坛界面图
4.1.6学院资讯界面
用户在点击导航栏上面的学院资讯后,就可以搜索查看学院资讯信息,用户根据自己的喜好可以进行查询、评论,学院资讯界面如下图4-4所示。
![](https://i-blog.csdnimg.cn/direct/32aa775ac40e4bf3a5e06a8db6779669.png)
图4-6学院资讯界面图
4.2管理员功能模块
4.2.1 用户管理界面
舆情分析系统中的管理人员是可以对前台注册的用户进行管理的,也可以对管理员进行管控。界面如下图4-7所示。
![](https://i-blog.csdnimg.cn/direct/a0bfd7e8ce7b44d4a238fae9d92ebf81.png)
图4-7用户管理界面图
用户管理关键代码如下所示。
public String encryption(String plainText) {
String re_md5 = new String();
try {
MessageDigest md = MessageDigest.getInstance("MD5");
md.update(plainText.getBytes());
byte b[] = md.digest();
int i;
StringBuffer buf = new StringBuffer("");
for (int offset = 0; offset < b.length; offset++) {
i = b[offset];
if (i < 0)
i += 256;
if (i < 16)
buf.append("0");
buf.append(Integer.toHexString(i));
}
re_md5 = buf.toString();
} catch (Exception e) {
e.printStackTrace();
}
return re_md5;
}
4.2.2学院资讯界面
舆情分析系统中的管理人员是可以对前台用户发布的留言进行管控的,界面如下图4-8所示。
![](https://i-blog.csdnimg.cn/direct/ac803f9133ca4eac9d05b7e33201a3c9.png)
图4-8学院资讯界面图
4.2.3站点管理界面
舆情分析系统 中的管理人员在“站点管理”这一菜单中是可以对前台显示的轮播图以及公告栏进行管控。界面如下图4-9所示。
![](https://i-blog.csdnimg.cn/direct/8d33ab1aaba1464aabef5a2d3123002a.png)
图4-9站点管理界面图
站点管理关键代码如下所示。
@PostMapping("/add")
@Transactional
public Map<String, Object> add(HttpServletRequest request) throws IOException {
service.insert(service.readBody(request.getReader()));
return success(1);
}
@Transactional
public Map<String, Object> addMap(Map<String,Object> map){
service.insert(map);
return success(1);
}
public Map<String,Object> readBody(BufferedReader reader){
BufferedReader br = null;
StringBuilder sb = new StringBuilder("");
try{
br = reader;
String str;
while ((str = br.readLine()) != null){
sb.append(str);
}
br.close();
String json = sb.toString();
return JSONObject.parseObject(json, Map.class);
}catch (IOException e){
e.printStackTrace();
}finally{
if (null != br){
try{
br.close();
}catch (IOException e){
e.printStackTrace();
}
}
}
return null;
}
public void insert(Map<String,Object> body){
StringBuffer sql = new StringBuffer("INSERT INTO ");
sql.append("`").append(table).append("`").append(" (");
for (Map.Entry<String,Object> entry:body.entrySet()){
sql.append("`"+humpToLine(entry.getKey())+"`").append(",");
}
sql.deleteCharAt(sql.length()-1);
sql.append(") VALUES (");
for (Map.Entry<String,Object> entry:body.entrySet()){
Object value = entry.getValue();
if (value instanceof String){
sql.append("'").append(entry.getValue()).append("'").append(",");
}else {
sql.append(entry.getValue()).append(",");
}
}
sql.deleteCharAt(sql.length() - 1);
sql.append(")");
log.info("[{}] - 插入操作:{}",table,sql);
Query query = runCountSql(sql.toString());
query.executeUpdate();
}
4.2.4更多管理界面
舆情分析系统中的管理人员是可以对舆情分析系统内的管理员发布的学院舆情、舆情分类、舆情分析、数据分析进行维护和管理的,支持增删改查操作。界面如下图4-10所示。
![](https://i-blog.csdnimg.cn/direct/4a412b141bd14792893d4f018ea0daa2.png)
图4-10更多管理界面图
@RequestMapping(value = "/del")
@Transactional
public Map<String, Object> del(HttpServletRequest request) {
service.delete(service.readQuery(request), service.readConfig(request));
return success(1);
}
@Transactional
public void delete(Map<String,String> query,Map<String,String> config){
StringBuffer sql = new StringBuffer("DELETE FROM ").append("`").append(table).append("`").append(" ");
sql.append(toWhereSql(query, "0".equals(config.get(FindConfig.GROUP_BY))));
log.info("[{}] - 删除操作:{}",table,sql);
Query query1 = runCountSql(sql.toString());
query1.executeUpdate();
}
5系统测试
5.1测试目的
对任何系统而言,测试都是必不可少的环节,测试可以发现系统存在的很多问题,所有的软件上线之前,都应该进行充足的测试之后才能保证上线后不会Bug频发,或者是功能不满足需求等问题的发生。下面分别从单元测试,功能测试和用例测试来对系统进行测试以保证系统的稳定性和可靠性。
5.2功能测试
下表是学院舆情管理功能的测试用例,检测了学院舆情管理中对学院舆情信息的增加,删除,修改,查询操作是否成功运行。观察系统的响应情况,得出该功能也达到了设计目标,系统运行正确。
前置条件;用户登录系统。
表5-1 学院舆情管理的测试用例
功能描述 | 用于学院舆情管理 | |
测试目的 | 检测学院舆情管理时的各种操作的运行情况 | |
测试数据以及操作 | 预期结果 | 实际结果 |
点击添加学院舆情,必填项合法输入,点击保存 | 提示添加成功 | 与预期结果一致 |
点击添加学院舆情,必填项输入不合法,点击保存 | 提示必填项不能为空 | 与预期结果一致 |
点击修改学院舆情,必填项修改为空,点击保存 | 提示必填项不能为空 | 与预期结果一致 |
点击修改学院舆情,必填项输入不合法,点击保存 | 提示必填项不能为空 | 与预期结果一致 |
点击删除学院舆情,选择学院舆情删除 | 提示删除成功 | 与预期结果一致 |
点击搜索学院舆情,输入存在的学院舆情名 | 查找出学院舆情 | 与预期结果一致 |
点击搜索学院舆情,输入不存在的学院舆情名 | 不显示学院舆情 | 与预期结果一致 |
下表是数据分析管理功能的测试用例,检测了数据分析管理中对数据分析信息的增加,删除,修改,查询操作是否成功运行。观察系统的响应情况,得出该功能也达到了设计目标,系统运行正确。
前置条件;用户登录系统。
表5-2 数据分析管理的测试用例
功能描述 | 用于数据分析管理 | |
测试目的 | 检测数据分析管理时的各种操作的运行情况 | |
测试数据以及操作 | 预期结果 | 实际结果 |
点击添加数据分析,必填项合法输入,点击保存 | 提示添加成功 | 与预期结果一致 |
点击添加数据分析,必填项输入不合法,点击保存 | 提示必填项不能为空 | 与预期结果一致 |
点击修改数据分析,必填项修改为空,点击保存 | 提示必填项不能为空 | 与预期结果一致 |
点击修改数据分析,必填项输入不合法,点击保存 | 提示必填项不能为空 | 与预期结果一致 |
点击删除数据分析,选择数据分析删除 | 提示删除成功 | 与预期结果一致 |
点击搜索数据分析,输入存在的数据分析名 | 查找出数据分析 | 与预期结果一致 |
点击搜索数据分析,输入不存在的数据分析名 | 不显示数据分析 | 与预期结果一致 |
下表是舆情分析管理功能的测试用例,检测了舆情分析管理中舆情分析的操作是否成功运行。观察系统的响应情况,得出该功能也达到了设计目标,系统运行正确。
前置条件;用户登录系统。
表5-3 舆情分析管理的测试用例
功能描述 | 用于舆情分析管理 | |
测试目的 | 检测舆情分析管理时各种操作的情况 | |
测试数据以及操作 | 预期结果 | 实际结果 |
未选择分类,点击提交 | 提示请选择分类 | 与预期结果一致 |
未选择列表,点击提交 | 提示请选择列表 | 与预期结果一致 |
5.3性能测试
使用阿里云PTS(Performance Testing Service)性能测试服务对线上系统进行压力测试。线上服务器环境为:1核心CPU,1G内存,1Mbps公网带宽,Centos7.0操作系统。
压测过程中使用了2台并发机器,每台机器20个用户并发,对系统主页,登录,数据查询和数据维护等模块进行并发访问,测试结果是有40个用户并发时,数据管理相关页面的响应时间甚至达到了7s,通过查看服务器出网流量发现已经达到1381kb/s,可以看出服务器的带宽已经达到峰值,如果系统使用5Mbps的带宽,系统的响应时间和TPS将会大大增加。在整个测试的过程中,CPU的使用率占用仅8%,也提现出带宽瓶颈对系统的影响非常严重。
结论
至此,舆情分析系统已经结束,在开发前做了许多的准备,在本系统的设计和开发过程中阅览和学习了许多文献资料,从中我也收获了很多宝贵的方法和设计思路,对系统的开发也起到了很重要的作用,系统的开发技术选用的都是自己比较熟悉的,比如Web、springboot技术、MYSQL,这些技术都是在以前的学习中学到了,其中许多的设计思路和方法都是在以前不断地学习中摸索出来的经验,其实对于我们来说工作量还是比较大的,但是正是由于之前的积累与准备,才能顺利的完成这个项目,由此看来,积累经验跟做好准备是十分重要的事情。
当然在该系统的设计与实现的过程中也离不开老师以及同学们的帮助,正是因为他们的指导与帮助,我才能够成功的在预期内完成了这个系统。同时在这个过程当中我也收获了很多东西,此系统也有需要改进的地方,但是由于专业知识的浅薄,并不能做到十分完美,希望以后有机会可以让其真正的投入到使用之中。
参考文献
[1]杨鹏,敖翔,李锦绚,成昊,龚慧敏. 一种金融领域舆情分析方法及系统[P]. 江苏省:CN114168575A,2022-03-11.
[2]秦洋,郑楠昱.基于大数据的热点话题舆情分析系统设计[J].无线互联科技,2022,19(02):49-50.
[3]陈喆,魏思奇,吴仪邦,文雄飞,向大享,李经纬.基于互联网社交媒体的“河湖长制”舆情分析系统构建[J].长江科学院院报,2021,38(10):174-179+191.
[4]Hao Yang, Longxiang Xiao, Zichao Zhang, Chunzhao Chen. Carbon Neutral Concept Stock Price Forecast and Public Opinion Analysis System based on Deep Learning[J]. Scientific Journal of Economics and Management Research,2021,3(7).
[5]周雁,王庆娟,庞桐.基于深度神经网络的新闻舆情分析系统研究与实现[J].台州学院学报,2021,43(03):13-19.DOI:10.13853/j.cnki.issn.1672-3708.2021.03.003.
[6]姜海坤. 基于异构神经网络的音频舆情分析系统研究与实现[D].北京邮电大学,2021.DOI:10.26969/d.cnki.gbydu.2021.000507.
[7]吴晨光. 基于层级情感分析的产品舆情分析系统的设计与实现[D].北京邮电大学,2021.DOI:10.26969/d.cnki.gbydu.2021.002959.
[8]郝守迪. O2O商铺食品安全舆情分析系统[D].重庆邮电大学,2021.DOI:10.27675/d.cnki.gcydx.2021.001171.
[9]梁娅. 基于多源社交媒体的热点舆情分析系统的设计与实现[D].北京邮电大学,2021.DOI:10.26969/d.cnki.gbydu.2021.001521.
[10]王展,赵征鹏.基于爬虫的高校网络舆情分析系统设计与实现[J].信息与电脑(理论版),2021,33(03):137-139.
[11]张晓飞.基于大数据技术的网络舆情分析系统研究[J].无线互联科技,2021,18(02):17-18.
[12]陆春阳,郭天驹,李晓溪.基于大数据的事故舆情分析系统研究[J].电力大数据,2021,24(01):70-78.DOI:10.19317/j.cnki.1008-083x.2021.01.010.
[13]Guanlin Chen, Rutao Yao, Gang Chen, Jie Chen, Tian Li. A smart urban management information public opinion analysis system[J]. International Journal of Security and Networks,2021,16(2).
[14]Zhou Jiaqian,Wang Jihou,Li Qintao,Wen Yulian,Zhang Yan,Lin Peiguang. A Public Opinion Analysis System Based on Emotion Analysis in Linyi[J]. Journal of Physics: Conference Series,2021,1757(1).
[15]袁志远,徐怀超,郭金顺,冯盼.基于大数据的网络舆情分析系统设计与实现[J].西藏科技,2020(12):76-80.
[16]杨敬慧. 基于Lambda-X架构的大数据舆情分析系统[C]//.中国新闻技术工作者联合会2020年学术年会论文集.,2020:88-92.DOI:10.26914/c.cnkihy.2020.033156.
[17]韩楠, 面向用户关注和态度模型的大规模跨语言网络舆情分析系统研发. 四川省,成都信息工程大学,2020-10-21.
[18], 党政舆情系统的研制与应用. 四川省,成都电科成研企业管理有限公司,2020-05-29.
致 谢
逝者如斯夫,不舍昼夜。转眼间,大用户用户活便已经接近尾声,人面对着离别与结束,总是充满着不舍与茫然,我亦如此,仍记得那年秋天,我迫不及待的提前一天到了学校,面对学校巍峨的大门,我心里充满了期待:这里,就是我新生活的起点吗?那天,阳光明媚,学校的欢迎仪式很热烈,我面对着一个个对着我微笑的同学,仿佛一缕缕阳光透过胸口照进了我心里,同时,在那天我认识可爱的室友,我们携手共同度过了这难忘的两年。如今,我望着这篇论文的致谢,不禁又要问自己:现在,我们就要说再见了吗?
感慨莫名,不知所言。遥想当初刚来学校的时候,心里总是想着工科学校会过于板正,会缺乏一些柔情,当时心里甚至有一点点排斥,但是随着我对学校的慢慢认识与了解,我才认识到了她的美丽,她的柔情,并且慢慢的喜欢上了这个校园,但是时间太快了,快到我还没有好好体会她的美丽便要离开了,但是她带给我的回忆,永远不会离开我,也许真正离开那天我的眼里会满含泪水,我不是因为难过,我只是想将她的样子映在我的泪水里,刻在我的心里。最后,感谢我的老师们,是你们教授了我们知识与做人的道理;感谢我的室友们,是你们陪伴了我如此之久;感谢每位关心与支持我的人。
少年,追风赶月莫停留,平荒尽处是春山。