【Spark SQL：计算平均分】

十四是40

已于 2022-06-17 08:52:58 修改

阅读量551

点赞数

文章标签： spark sql

于 2022-06-17 08:17:04 首次发布

本文链接：https://blog.csdn.net/qq_56238454/article/details/125321904

版权

本文通过一个实际问题——计算学生成绩平均分，介绍了如何利用Spark SQL进行处理。首先提出了问题，然后详细步骤包括：新建Maven项目，添加Spark相关依赖，创建日志属性文件，构建计算平均分的单例对象，并最终运行程序，实现对HDFS上学生各科成绩文件的平均分计算。

摘要由CSDN通过智能技术生成

一、提出问题

计算学生成绩平均分
java成绩

1 张益达 85
2 李炫迈 91
3 王绿箭 79
4 甄子丹 90
5 李连杰 93
6 关云长 91
7 赵子龙 87
8 李哪吒 81

Django成绩

1 张益达 87
2 李炫迈 90
3 王绿箭 89
4 甄子丹 88
5 李连杰 90
6 关云长 79
7 赵子龙 92
8 李哪吒 89

Spark成绩

1 张益达 78
2 李炫迈 95
3 王绿箭 79
4 甄子丹 89
5 李连杰 91
6 关云长 90 
7 赵子龙 95
8 李哪吒 79

启动HDFS集群与Spark
在HDFS上新建 /score目录
在/home目录下新建三个文本文件：java.txt django.txt spark.txt

在这里插入图片描述

将三个文件上传到HDFS的/score目录下
分别查看三个文件内容

二、解决问题

（一）新建Maven项目

在这里插入图片描述

（二）添加依赖

修改pom.xml文件

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0
         http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>net.xjx.sql</groupId>
    <artifactId>GradeTopNBySQL</artifactId>
    <version>1.0-SNAPSHOT</version>

    <dependencies>
        <