Spark SQL案例：计算平均成绩

最新推荐文章于 2023-06-06 12:17:11 发布

兮若耶

最新推荐文章于 2023-06-06 12:17:11 发布

阅读量303

点赞数

文章标签： spark sql scala

本文链接：https://blog.csdn.net/m0_63797754/article/details/125358265

版权

本文通过一个实例展示了如何使用Spark SQL计算Django、Java和Scala三科成绩的平均分。首先，提出了任务，包括读取不同成绩文件并计算平均分。接着，详细介绍了完成任务的步骤，包括新建Maven项目，添加Spark和相关依赖，创建日志配置文件，以及编写计算平均分的Scala代码。最后，本地运行程序并观察输出结果。

摘要由CSDN通过智能技术生成

一、提出任务

有多科成绩表，比如django.txt、java.txt、scala.txt，计算每个学生三科平均分
Django成绩表【django.txt】

张三丰 88
李孟达 93
唐雨涵 97
王晓云 87
张晓琳 79
佟湘玉 89
杨文达 93
陈燕文 95

Java成绩表【java.txt]

张三丰 67
李孟达 78
唐雨涵 89
王晓云 75
张晓琳 93
佟湘玉 70
杨文达 87
陈燕文 90

Scala成绩表【scala.txt】

张三丰 89
李孟达 95
唐雨涵 92
王晓云 93
张晓琳 88
佟湘玉 88
杨文达 66
陈燕文 98

启动集群

请添加图片描述

在master虚拟机上创建三个成绩文件

请添加图片描述

将三个成绩文件上传到HDFS的/fff目录

请添加图片描述

查看三个成绩文件内容

请添加图片描述

二、完成任务

（一）新建Maven项目

请添加图片描述

添加项目信息（项目名、保存位置、组编号、项目编号）

请添加图片描述

点击【Finish】按钮

请添加图片描述

（二）添加相关依赖和构建插件

在pom.xml文件里添加依赖与Maven构建插件

请添加图片描述

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>net.fhl.sql</groupId>
    <artifactId>CalculateAverage</artifactId>
    <version>1.0-SNAPSHOT</version>
    <dependencies>
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>2.11.12</version>
        </dependency>
        <dependency>
            <groupId