需要实现的要求:自行准备某个领域的数据(可以是电商商品数据、电商订单数据、影视数据、游戏数据、工业互联网数据、手机埋点数据、天气数据、股票数据、房地产数据等等,但不能选新能源车辆数据),并搜集/准备至少五个相关的统计指标,然后写Spark程序完成这些指标的计算。
目录
1、编写java文件,并转换为scala语言开发的scala文件
一、数据的准备
1、编辑配置相关项,用程序生成随机数据
火柴人: 名字, 性别, 阵营, 职业, 胜否, 剩余血量,获得金元宝个数,日期
名字: 长度为14的大小写字母
性别: 男 / 女
阵营: 守序邪恶, 守序善良, 混乱邪恶, 混乱善良
职业: 射手, 法师, 战士, 辅助, 坦克
胜负: 是 / 否
剩余血量: 100 ~ 1
获得金元宝个数: 5 ~ 20
日期: 自定义 xxxx年-xx月-xx日
以下是编写的生成数据的spark程序:
注释:
name:名字