杭州市IT行业人才需求地图信息系统的设计与实现
杭州市IT人才需求地图信息系统,个人的大数据毕业设计,后续会逐步开放源代码
介绍
该项目分为四大部分,爬虫、大数据分析、前端和后端。对于杭州市 IT 行业人才需求地图信息系统的设计,首先针对杭州市的 IT 人才需求信息进行获取,我们可根据拉勾网提供的招聘信息来进行分析,通过 Python 爬虫对拉勾网招聘信息进行爬取,并转储为 txt 文件、然后通过 Spark 引擎,对爬取到的数据进行清洗,或得到我们所需要的信息并清除一些杂乱数据,然后生成清洗完毕的数据,存储到 txt 文件并存入 MySQL 数据库。使用 Spark 对数据进行分析并得出结果存为 Json 文件,使用SpringBoot + SpringMVC + MyBatis 创建后端服务程序,方便前端地图对数据进行获取。最终,使用百度地图提供的 API 将人才需求信息进行可视化展示,使用 ECharts 图表对整体杭州市 IT 人才需求的分析结果进行更加直观的展示,并得出杭州市各行各业对 IT 人才需求概况。
- 爬虫:使用 python 的 request 库爬取拉勾网数据
- 数据分析:使用 spark 对爬取数据进行清洗和分析
- 前端展示:使用 echarts 和百度地图 api 进行数据分析结果的可视化展示
- 后端
- 以 SpringBoot 2.4.0 + MySQL 8.0 为基础
- 使用 Freemaker 模板 + MyBatisPlus 生成组件 搭建基本控制层、业务层、持久层和实体类
- 使用 Redis 作为缓存,存储用户权限信息、验证码
- 使用 SpringSecurity 进行认证授权,将权限细化至按钮
- 禁用 Session,使用 JWT 作为 token 进行有状态的加密交互,并为其设置有效时间,并将此 token 置于 header 中方便交互
- 使用 Swagger 进行接口文档编写,方便前后端交互开发
示例
登录
注册
首页
用户管理
角色管理
菜单管理
系统工具
岗位管理
公司管理
个人中心
统计图表
地区分布
岗位需求
企业信息
薪资福利
岗位分析