Spark大数据处理讲课笔记3.8 Spark RDD典型案例

VIP文章 ZYF2190003497

已于 2023-05-22 09:16:14 修改

阅读量94

点赞数

文章标签： spark 笔记大数据

于 2023-05-11 11:36:21 首次发布

本文链接：https://blog.csdn.net/ZYF2190003497/article/details/130616850

版权

零、本节学习目标

利用RDD计算总分与平均分
利用RDD统计每日新增用户
利用RDD实现分组排行榜

一、利用RDD计算总分与平均分

（一）提出任务

针对成绩表，计算每个学生总分和平均分

(二）准备工作

1、启动HDFS服务

执行命令：start-dfs.sh

2、启动Spark服务

进入Spark的sbin目录执行命令：./start-all.sh

3、在本地创建成绩文件

在/home里创建scores.txt文件

4、将成绩文件上传到HDFS

在HDFS上创建/scoresumavg/input目录，将成绩文件上传至该目录

（三）实现步骤

1、打开RDD项目

SparkRDDDemo

2、创建计算总分平均分对象

在net.huawei.rdd包里创建day07子包，然后在子包里创建CalculateSumAvg对象

package net.zyf.rdd.day07


import org.apache.spark.{SparkConf, SparkContext}

import scala.collection.mutable.ListBuffer

/**
 * 功能：统计总分与平均分
 * 作者：zyf
 * 日期：2023年05月11日
 */
object CalculateSumAvg {
  def main(args: Array[String]): Unit = {
    // 创建Spark配置对象
    val conf = new SparkConf()
      .setAppName("CalculateSumAvg") // 设置应用名称
      .setMaster("local[*]") // 设置主节点位置（本地调试）
    // 基于Spark配置对象创建Spark容器
    val sc = new SparkContext(conf)
    // 读取成绩文件，生成RDD
    val lines = sc.textFile("hdfs://master:9000/scoresumavg/input/scores.txt")
    // 定义二元组成绩列表
    val scores = new ListBuffer[(String, Int)]()
    // 遍历lines，填充二元组成绩列表
    lines.collect.foreach(line => {
      val fields = line.split(" ")
      scores.append(Tuple2(fields(0), fields(1).toInt)