大数据处理技术：企业岗位需求决策

目录

1 概要设计

1.1 开发环境

1.2 功能描述

2 数据库设计

2.1 概念

2.2 结构设计

3 详细设计

3.1 数据采集

3.1.1 webclient+xpath

3.1.2 数据采集测试结果

3.2 数据清洗

3.2.1 使用jdbc进行数据插入

3.2.2 使用c3p0连接池完成数据插入

3.2.3 MapReduce数据清洗

3.3 数据可视化

3.3.1 echarts入门

3.3.2 echarts进阶

3.3.3 spring boot入门

3.3.4 spring boot+mybatis

3.3.5 企业岗位需求决策数据可视化

3.3.6 数据可视化页面效果

4 总结

参考文献

---

1 概要设计

1.1 开发环境

       平台：头歌

       编程语言：Java、JavaScript

       数据库：MySQL

1.2 功能描述

       数据采集：数据采集主要是采用 Java 爬虫对各大招聘网站上的招聘信息进行数据采集，为最终的数据可视化进行铺垫。

       数据清洗：本阶段主要是使用 MapReduce 对招聘网站上的数据进行数据清洗 ，过滤掉一些不符合需求或者数据残缺的数据。

       数据可视化：数据可视化主要是采用 SpringBoot + Mybatis + Echarts 进行数据可视化系统进行架构，Springboot + Mybatis 负责从 Mysql 数据库中查询相应的数据并将该数据与相关业务进行结合形成对外的接口，Echarts 负责数据图表的展示，使用 Ajax 访问接口，然后获取返回的数据，完成最终的数据渲染展示。

2 数据库设计

2.1 概念

       数据库设计是指对于一个给定的应用环境，构造（设计）优化的数据库逻辑模式和物理结构，并据此建立数据库及其应用系统，使之能够有效地存储和管理数据，满足各种用户的应用需求，包括信息管理要求和数据操作要求。其中信息管理要求：在数据库中应该存储和管理哪些数据对象；数据操作要求：对数据对象需要进行哪些操作，如查询、增、删、改、统计等操作。本实验通过数据库Mybatis设计数据库表实现查询、增、删、改、统计等操作。

2.2 结构设计

       建立了一张数据库表Users(键值：username,password)，另一张数据库表Users(键值：id，username,password)，一张职业信息表positioninfo (position,type,num,address,time,require_, label)，使用jdbc（java数据库连接技术。）进行数据插入，为什么要使用jdbc：由于需求的要求，我们要将清洗完毕的数据，存储到MySql中，并为接下来的数据可视化做准备。接着使用c3p0连接池完成数据插入，MapReduce数据清洗后存入数据库。

       更新 delete/insert/update： executeUpdate(); 

       查询 select： executeQuery();

       使用jdbc进行数据插入的数据库表Users的字段：

表2.1 数据库表Users

字段名

id

position

type

num

address

time