完成数据采集后,数据存储在MySQL中,IT行业招聘数据分析与岗位推荐系统可以对爬取的数据进行管理,管理员登录数据库,可以查看每一条招聘数据的内容以及爬取的目标网址,也可以对单条的招聘数据进行删除。此外,管理还具有系统管理、用户管理等功能。前台用户具有注册登录,信息查看等功能,其中大屏数据包括工作地点统计、学历统计、职位统计、公司类型统计、薪资统计。其中,IT行业招聘数据分析与岗位推荐系统的数据管理功能模块如图4.3所示。爬取完招聘数据后,需要对数据进行分析,根据评分和K-means聚类算法分析出招聘数据趋势,并可视化查询处理。本系统使用Python进行编程,通过HTML、JS等方法显示数据。具体包括:招聘数据数据展示、招聘数据分类、用户注册登录、用户管理和爬虫数据管理。其中可视化功能用例图如图3-2所示。
图3-2 数据分析展示用例
IT行业招聘数据分析与岗位推荐系统用户登录,先验证信息、成功启动系统后进行登录。登录验证成功后,获取到登录权限,跳转到系统首页。
进入到IT行业招聘数据分析与岗位推荐系统大屏界面,通过图形化显示出工作地点统计、学历统计、职位统计、公司类型统计、薪资统计。如果查询失败,返回IT行业招聘数据分析与岗位推荐系统的错误页面。
随着社会经济的快速发展,人们的生活水平得到了显著提高,但随之而来的社会问题也越来越多。其中最为显著的就是就业问题。为此,招聘信息的展示也变得越来越为重要。但是在大量的招聘信息中,人们在提取自己最想要的信息时变得不那么容易,对于应聘者也是如此。本系统通过对网络爬虫的分析,研究智通人才网站数据,尝试使用Python技术进行开发,将智通人才网招聘信息尽可能的爬取出来,并对结果进行检测判断,最后可视化分析出来,为用户提供精确的查询结果。IT行业招聘数据分析与岗位推荐系统旨在提高数据挖掘的效率,便于科学的管理和分析招聘数据。
本文先分析IT行业招聘数据分析与岗位推荐系统的背景和意义;对常见的爬虫原理,获取策略,信息提取等技术进行分析;本系统使用python进行开发,MySQL数据库进行搭建,实现了招聘的数据爬取;对数据库的查询结果进行检测并可视化分析,对系统的前台界面进行管理,分析爬取的结果,并对招聘数据结果进行大屏显示;最后通过测试实现了数据爬取,存储过滤和数据可视化分析,以及系统管理等功能。
[关键词] 爬虫,python,大数据,关键字,招聘数据
目 录
摘 要 I
Abstract II
1 绪论 3
1.1 课题背景 3
1.2 课题意义 3
1.3 研究内容 4
2 相关技术介绍 6
2.1 系统开发环境 6
2.2 网络爬虫概述 6
2.3 Python技术 7
2.4 MySQL数据库 8
3 系统需求分析 9
3.1 可行性分析 9
3.1.1操作可行性 9
3.1.2经济可行性 9
3.1.3技术可行性 9
3.2 功能需求分析 9
3.2.1爬虫功能需求分析 9
3.2.2数据可视化功能需求分析 11
3.3 非功能需求分析 11
4 系统设计 13
4.1 系统架构设计 13
4.2 系统功能设计 14
4.2.1数据采集功能设计 14
4.2.2数据分析功能设计 15
4.3 系统流程设计 16
4.3.1爬虫流程设计 16
4.3.2数据分析可视化流程 17
4.4 数据库设计 19
5 系统实现 21
5.1数据采集的实现 21
5.2数据库操作的实现 22
5.3系统首页的实现 22
5.4招聘数据大屏显示 23
6 系统测试 25
6.1测试目的 25
6.2功能测试 25
6.3测试总结 26
结 论 27
参 考 文 献 28
致 谢 29