1 项目介绍
本次通过对搜索引擎的研究,以Python技术来打造一款带有爬虫功能的爬虫安全牛网站,该网站主要服务于与安全相关的信息内容搜索,通过对输入的语义关键词来作为爬取的核心方向,在万维网上进行相关的信息爬取,从而实现以系统化的自动信息爬取来代替传统的人工搜索,提高信息的搜索的效率,提升服务的效果。
2、项目技术
项目后端框架:Java+ssm
项目前端框架:vue2,ssm
3、开发环境
后端:开发语言:python
框架:python,django
python版本:python3.6.8版本向上兼容
数据库:mysql5.7+
数据库工具:Navicat11+
开发软件:pycharm
前端:nodejs,vue,html
数据库:mysql
4 系统特点
本次就通过以安全为主体来通过语义搜索的方式时间一款安全牛网站,在该网站中能够实现安全信息的查询阅览,对于某些方面的安全知识问题也可以通过搜索的方式来实现在万维网上的数据爬取,从而获得更好的专业化搜索结果,对于网络安全服务方面有着很好的帮助作用。并且此次的搜索是一项不加带商业元素的搜索引擎,能够杜绝过多的广告信息为整个系统带来无关的信息,做到专业、高效。
五、系统的实现
5.1搜索引擎首页界面
本次设计的信息安全领域中语义搜索引擎的主页面展示如下,在主页面汇总主要通过以搜索框为最核心的内容显示在页面的中间,在右上方是最新资讯、牛闻牛评、技术产品以及注册和登录的模块,通过菜单能够很好的实现有效的功能实现。在整个网站的使用上首先需要进行注册:
图5.1搜索引擎首页
5.2注册页面实现
在创建注册的页面中,用需要填入一些要求填写的信息,通过信息的填写才能完成有效的信息建立,完成注册过程,如下图所示:
图5.2注册页面实现
5.3最新资讯的实现
在最新资讯中,有着非常多的关于信息安全领域的相关文章,以列表的形式展现在整个页面中,能够看到新闻的标题、发布时间等简单的内容,点击标题后可以进入到详细的页面之中。如下图所示:
图5.3新闻资讯页面
5.4牛闻牛评界面实现
在牛闻牛评的菜单中,与新闻资讯相类似,也以列表的方式进行了相关信息内容的展示工作,具体的展示界面如下:
图5.4牛闻牛评页面
5.5搜索功能的实现
在搜索功能的操作上,在对话框中输入“网络安全”点击查找,系统会自动在后台进行数据的爬取,在数据爬取后会形成结果页面,在结果页面里有着与“网络安全”相关的内容展示,整个搜索的过程如下:
图5.5搜索功能实现页面