基于Spark SQL编写程序完成简单的指标。

目录

数据准备：

我准备了某航天公司会员的数据信息作为本次项目的数据，详情如下：

需求指标：

为直观各省份城市间的会员数量比，筛查出航天公司会员人数排行城市（降序）。

对航天公司的会员以省份分组，筛查出省份内城市的会员后，按总积分进行降序排序（前三名）。

航天公司决定对乘机出行次数（飞行次数）超100次的会员升级成白金会员，故需要筛查出满足条件的客户。

看出各个城市年龄分布，看出年龄差，筛查出城市内最大年龄和最小年龄。

根据需要筛查出会员入会时间（注册时间）。

数据预处理：

需求指标实现：

一、为直观各省份城市间的会员数量比，筛查出航天公司会员人数排行城市（降序）。

二、对航天公司的会员以省份分组，筛查出省份内城市的会员后，按总积分进行降序排序（前三名）。

三、航天公司决定对乘机出行次数（飞行次数）超100次的会员升级成白金会员，故需要筛查出满足条件的客户。

四、看出各个城市年龄分布，看出年龄差，筛查出城市内最大年龄和最小年龄。

五、根据需要筛查出会员入会时间（注册时间）。

总结：

---

数据准备：

我准备了某航天公司会员的数据信息作为本次项目的数据，详情如下：

——数据来自于作者课程老师。

需求指标：

• 为直观各省份城市间的会员数量比，筛查出航天公司会员人数排行城市（降序）。

• 对航天公司的会员以省份分组，筛查出省份内城市的会员后，按总积分进行降序排序（前三名）。

• 航天公司决定对乘机出行次数（飞行次数）超100次的会员升级成白金会员，故需要筛查出满足条件的客户。

• 看出各个城市年龄分布，看出年龄差，筛查出城市内最大年龄和最小年龄。

• 根据需要筛查出会员入会时间（注册时间）。

数据预处理：

将手头里的excel文件转为json文件，可自行百度转换工具。这里我用的是在线表格转换工具 - 让表格转换变得更容易 (tableconvert.com)https://tableconvert.com/zh-cn/

需求指标实现：