Spark RDD案例：计算总成绩

最新推荐文章于 2022-11-02 11:06:04 发布

qq_57026298

最新推荐文章于 2022-11-02 11:06:04 发布

阅读量332

点赞数

文章标签： spark scala hdfs

本文链接：https://blog.csdn.net/qq_57026298/article/details/125354675

版权

本文通过一个案例展示了如何使用Spark Scala处理成绩数据。首先提出了将成绩表（包含姓名、语文、数学、英语字段）加载到HDFS上的任务。接着详细介绍了如何创建Maven项目，配置依赖和构建插件，创建日志属性文件，以及编写计算总成绩的单例对象。最后，运行程序并在控制台查看了计算结果。

摘要由CSDN通过智能技术生成

一、提出任务

成绩表，包含四个字段（姓名、语文、数学、英语），只有三条记录

成绩表文件 - scores.txt

张钦林  78  90  76
陈燕文  95  88  98
卢志刚  78  80  60

预备工作：启动集群的HDFS与Spark
将成绩文件 - scores.txt上传到HDFS上/input目录

二、完成任务

（一）创建Maven项目

设置项目信息（项目名、保存位置、组编号、项目编号）
单击【Finish】按钮
将java目录改成scala

（二）添加依赖和构建插件

在pom.xml文件里添加依赖与Maven构建插件
在这里插入图片描述

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
        xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
        xsi:schemaLocation="http://maven.apache.org/POM/4.0.0
        http://maven.apache.org/xsd/maven-4.0.0.xsd">
   <modelVersion>4.0.0</modelVersion>

   <groupId>net.qzj.rdd</groupId>
   <artifactId>SparkRDDDemo</artifactId>
   <version>1.0-SNAPSHOT</version>

   <dependencies>