SPARK 2.2.1 基于HIVEQL的人力资源系统的数据处理的案例与解读

最新推荐文章于 2022-04-28 13:14:16 发布

段智华

最新推荐文章于 2022-04-28 13:14:16 发布

阅读量1k

点赞数

分类专栏： AI & Big Data案例实战课程文章标签： SPARK 2.2.1 HIVE

热烈祝贺Gavin大咖2024年北京航空航天大学两本新书《Transformer&ChatGPT解密：原理、源码及案例》、《Transformer& Rasa 解密: 原理、源码及案例》出版发行

本文链接：https://blog.csdn.net/duan_zhihua/article/details/79342590

版权

AI & Big Data案例实战课程专栏收录该内容

167 篇文章 337 订阅 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文详细介绍了如何使用SPARK 2.2.1和HIVEQL处理人力资源系统数据，包括数据库与表的构建、数据加载和常见查询操作。通过案例展示了部门职工数统计、薪资查询和考勤信息分析等，提供了一整套数据处理流程。

摘要由CSDN通过智能技术生成

SPARK 2.2.1 HIVEQL的人力资源系统的数据处理的案例与解读

本节给出一个简单的公司人力资源系统的数据处理案例。人力资源管理系统的管理内容组织结构如图3-10所示。

图 3 - 10

人力资源系统的数据源包含职工基本信息、部门基本信息、职工考勤信息、

职工工资清单等，数据文件存放在本地目录/usr/local/hrs。

1)       职工基本信息：存放职工的基本信息，包含职工姓名，职工id，职工性

别，职工年龄，入职年份，职位，所在部门id等信息；people.txt数据内容如下：

Michael,1,male,37,2014,developer,2

Andy,2,female,33,2016,manager,1

Justin,3,female,23,2016,recruitingspecialist,3

John,4,male,22,2017,developer,2

Herry,5,male,27,2017,developer,1

Brewster,6,male,37,2014,manager,2