大数据实验 实验六：Spark初级编程实践

已于 2023-11-28 10:45:35 修改
阅读量2.9k 收藏 26
点赞数 11
分类专栏： 大数据实验 文章标签： 大数据 spark 分布式
于 2023-11-28 10:34:38 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/adexom/article/details/134661306
版权

Spark初级编程实践

实验环境：Windows 10 Oracle VM VirtualBox
虚拟机：cnetos 7
Hadoop 3.3

实验内容与完成情况：

1. 安装hadoop和spark

因为Hadoop版本为3.3所以在官网选择支持3.3的spark安装包
在这里插入图片描述
解压安装包到指定文件夹

在这里插入图片描述
配置spark-env.sh
在这里插入图片描述
启动成功
在这里插入图片描述
在这里插入图片描述

2. Spark读取文件系统的数据

（1） 在spark-shell中读取Linux系统本地文件“/home/hadoop/test.txt”，然后统计出文件的行数；

在这里插入图片描述

（2） 在spark-shell中读取HDFS系统文件“/user/hadoop/test.txt”（如果该文件不存在，请先创建），然后，统计出文件的行数；

在这里插入图片描述

（3） 编写独立应用程序（推荐使用Scala语言），读取HDFS系统文件“/user/hadoop/test.txt”（如果该文件不存在，请先创建），然后，统计出文件的行数；通过sbt工具将整个应用程序编译打包成 JAR包，并将生成的JAR包通过 spark-submit 提交到 Spark 中运行命令。

编写程序
在这里插入图片描述

安装sbt

在这里插入图片描述
程序编译

在这里插入图片描述

使用命令/software/spark-3.4.0-bin-hadoop3/bin/spark-submit --class “hdfstest” /software/hdfstest/target/scala-2.12/a-simple-hdfs-test_2.12-1.0.jar >& 1 |grep The 运行jar包
在这里插入图片描述
运行成功

3. 编写独立应用程序实现数据去重

对于两个输入文件 A 和 B，编写 Spark 独立应用程序（推荐使用 Scala 语言），对两个文件进行合并，并剔除其中重复的内容，得到一个新文件 C。下面是输入文件和输出文件的一个样例，供参考。

输入文件 A 的样例如下：
20170101 x
20170102 y
20170103 x
20170104 y
20170105 z
20170106 z
输入文件 B 的样例如下：
20170101 y
20170102 y
20170103 x
20170104 z
20170105 y
根据输入的文件 A 和 B 合并得到的输出文件 C 的样例如下：
20170101 x
20170101 y
20170102 y
20170103 x
20170104 y
20170104 z
20170105 y
20170105 z
20170106 z

编写文件A B
在这里插入图片描述
配置编译选项
在这里插入图片描述
编译代码
在这里插入图片描述
使用/software/spark-3.4.0-bin-hadoop3/bin/spark-submit --class “RemDup” /software/RemDup/target/scala-2.12/remove-duplication_2.12-1.0.jar 命令运行jar包

运行

在这里插入图片描述
查看运行结果

在这里插入图片描述

4. 编写独立应用程序实现求平均值问题

每个输入文件表示班级学生某个学科的成绩，每行内容由两个字段组成，第一个是学生名字，第二个是学生的成绩；编写 Spark 独立应用程序求出所有学生的平均成绩，并输出到一个新文件中。下面是输入文件和输出文件的一个样例，供参考。

Algorithm 成绩：
小明 92
小红 87
小新 82
小丽 90
Database 成绩：
小明 95
小红 81
小新 89
小丽 85
Python 成绩：
小明 82
小红 83
小新 94
小丽 91
平均成绩如下：
(小红,83.67)
(小新,88.33)
(小明,89.67)
(小丽,88.67)

编译被操作文件 Algorithm database python

在这里插入图片描述
编写代码文件
在这里插入图片描述

编写配置文件

在这里插入图片描述
程序打包
在这里插入图片描述
使用命令/software/spark-3.4.0-bin-hadoop3/bin/spark-submit --class “AvgScore” /software/AvgScore/target/scala-2.12/average-score_2.12-1.0.jar运行程序

在这里插入图片描述
查看结果在这里插入图片描述

出现的问题

问题一

运行start-all命令时spark报错
说缺少依赖

问题二

在etc/profile中更改完环境后
Source命令刷新文件仍然出现路径配置错误
在这里插入图片描述

问题三

在用sbt编译的过程中报错

在这里插入图片描述

解决方案

问题一

在下载安装包时版本选择错误

在这里插入图片描述
将安装包换为
在这里插入图片描述

问题二

因为之前开启了两个窗口进行命令操作
在这里插入图片描述
在一个窗口刷新在另一个窗口使用start-all命令
于是在同一个窗口source一下

在这里插入图片描述成功启动,问题解决

问题三

在这里插入图片描述

在这里插入图片描述
将编译的sbt文件配置改为启动spark-shell中现实的scala的版本号,不能使用,在etc/profile注册路径中的版本

完成编译
在这里插入图片描述
问题解决

ADBOEX
关注
专栏目录
实验七：Spark初级编程实践
07-15
1、实验环境： 设备名称 LAPTOP-9KJS8HO6 处理器 Intel(R) Core(TM) i5-10300H CPU @ 2.50GHz 2.50 GHz 机带 RAM 16.0 GB (15.8 GB 可用) 主机操作系统 Windows 10 家庭中文版 虚拟机操作系统 ubuntukylin-16.04 Hadoop 版本 3.1.3 JDK 版本 1.8 Java IDE：Eclipse 系统类型 64 位操作系统, 基于 x64 的处理器 笔和触控 没有可用于此显示器的笔或触控输入 2、实验内容与完成情况： 1. 安装hadoop和spark。 将下载好的安装包解压至固定路径并安装 使用命令./bin/spark-shell启动spark 图2启动spark 2. Spark读取文件系统的数据 （1） 在spark-shell中读取Linux系统本地文件“/home/hadoop/test.txt”，然后统计出文件的行数； 图3 spark统计行数 （2） 在spark-shell中读取HDFS系统文件“/user/hadoop/test.txt”（
实验7 Spark初级编程实践
热门推荐
程序必须为人类阅读而编写，并且仅仅碰巧可以让机器执行
12-23 1万+
1. Spark读取文件系统的数据 2.编写独立应用程序实现数据去重 对于两个输入文件A和B，编写Spark独立应用程序（推荐使用Scala语言），对两个文件进行合并，并剔除其中重复的内容，得到一个新文件C。下面是输入文件和输出文件的一个样例，供参考。 3.编写独立应用程序实现求平均值问题 每个输入文件表示班级学生某个学科的成绩，每行内容由两个字段组成，第一个是学生名字，第二个是学生的成绩；编写Spark独立应用程序求出所有学生的平均成绩，并输出到一个新文件中。下面是输入文件和输出文件的一个样例，供参考。
Spark RDD编程初级实践
m0_49972043的博客
04-17 3862
Spark RDD编程初级实践湖工大永远滴神 茂林！！！第一关 数据去重第二个 整合排序第三关 求平均值 湖工大永远滴神 茂林！！！ RDD(Resilient Distributed Datasets, 弹性分布式数据集)是Spark最为核心的概念，它是一个只读的、可分区的分布式数据集，这个数据集的全部或部分可以缓存在内存中，可在多次计算间重用。Spark用Scala语言实现了RDD的API，程序员可以通过调用API实现对RDD的各种操作，从而实现各种复杂的应用。 RDD编程都是从创建RDD开始的，可以通
大数据技术原理及应用课实验7 :Spark初级编程实践
01-16
在"大数据技术原理及应用课实验7：Spark初级编程实践"中，我们主要关注Spark的两个核心知识点：数据读取和Spark应用程序的开发流程。 首先，Spark提供了一种简单的方式去访问不同的数据源，包括本地文件系统和...
大数据实验报告（实验一到八）
04-20
实验一： 熟悉常用的Linux操作和Hadoop操作 实验二： 熟悉常用的HDFS操作 实验三： 熟悉常用的HBase操作 实验四： 熟悉常用的mongoDB数据库操作 ...实验七： Spark初级编程实践 实验八： Flink初级编程实践
Spark3.3编程实践：大数据实验六 - 文件操作与去重
实验的主题是“Spark初级编程实践”，旨在通过具体的步骤让学生掌握Spark的基本操作和编程能力。 首先，实验要求在Windows 10操作系统上使用Oracle VM VirtualBox创建一个虚拟机，安装Hadoop 3.3版本。这是因为...
Spark SQL编程初级实践
充满焦虑的大学生
04-30 2682
【代码】Spark SQL编程初级实践。
Spark开发实例（编程实践）
01-07
本节将介绍如何实际动手进行 RDD 的转换与操作，以及如何编写、编译、打包和运行 Spark 应用程序。 启动 Spark Shell Spark 的交互式脚本是一种学习 API 的简单途径，也是分析数据集交互的有力工具。Spark 包含多种运行模式，可使用单机模式，也可以使用分布式模式。为简单起见，本节采用单机模式运行 Spark。 无论采用哪种模式，只要启动完成后，就初始化了一个 SparkContext 对象（SC），同时也创建了一个 SparkSQL 对象用于 SparkSQL 操作。进入 Scala 的交互界面中，就可以进行 RDD 的转换和行动操作。 进入目录 SPARK_HOM
实验5 Spark SQL编程初级实践
weixin_30520015的博客
03-26 1367
1.Spark SQL基本操作 将下列 json 数据复制到你的 ubuntu 系统/usr/local/spark 下，并保存命名为 employee.json 答案： scala> import org.apache.spark.sql.SparkSession scala> val spark=SparkSession.builder().getOrCreate(...
Spark大数据分析与实战：Spark Streaming编程初级实践Spark Streaming编程初级实践
qq_27851579的博客
07-08 1534
Spark Streaming编程初级实践 一、安装Hadoop和Spark 具体的安装过程在我以前的博客里面有，大家可以通过以下链接进入操作： [ Hadoop的安装：https://blog.csdn.net/weixin_47580081/article/details/108647420 ](https://blog.csdn.net/weixin_47580081/article/details/108647420?spm=1001.2014.3001.5501) [ Scala及Spark的安装
【Spark编程基础】实验一Spark编程初级实践（附源代码）
a1234567822的博客
03-10 1681
Line 类的第一个参数表示其位置，第二个参数表示另一个端点，Line 放缩的时候，其中点位置不变，长度按倍数放缩（注意，缩放时，其两个端点信息也改变了），另外，Line 的 move 行为影响了另一个端点，需要对move 方法进行重载。Circle 类第一个参数表示其圆心，也是其位置，另一个参数表示其半径，Circle 缩放的时候，位置参数不变，半径按倍数缩放。给定任何一个如上格式的清单（不同清单里课程数量可能不一样），要求尽可能采用函 数式编程，统计出各门课程的平均成绩，最低成绩，和最高成绩；
Spark编程实践
crazy_scott的博客
10-26 490
使用Scala和Java编写Spark程序。 Spark编程 Scala实现 sbt 首先安装sbt unzip sbt-1.2.6.zip -d /usr/local/ 赋予权限 sudo chown –R hadoop /usr/local/ 添加进环境变量PATH中vim ~/.bashrc。 执行sbt version看是否安装成功，此时会下载一些依赖，确保联网。 编程 在/...
【Spark编程基础】实验三RDD 编程初级实践(附源代码）
a1234567822的博客
03-17 6512
对于两个输入文件 A 和 B，编写 Spark 独立应用程序，对两个文件进行合并，并剔除其。名字，第二个是学生的成绩；编写 Spark 独立应用程序求出所有学生的平均成绩，并输出到。中重复的内容，得到一个新文件 C。下面是输入文件和输出文件的一个样例，供参考。每个输入文件表示班级学生某个学科的成绩，每行内容由两个字段组成，第一个是学生。2、操作系统：linux（推荐使用Ubuntu16.04）。下面是输入文件和输出文件的一个样例，供参考。3、Jdk版本：1.7或以上版本。
Spark编程基础1Scala
AthlenaA的博客
11-28 3104
第1章 大数据技术概述 第2章 Scala语言基础 2.1 Scala语言概述 2.1.1 计算机的缘起 2.1.2 编程范式 2.1.3 Scala简介 2.2 Scala基础 2.3 面向对象编程基础 2.4 函数式编程基础 第3章 Spark的设计与运行原理 第4章 Spark环境搭建和使用方法 第5章 RDD编程 第6章 Spark SQL 第7章 Spark Streaming 第8章 ...
spark（实验七）
A2206348612的博客
05-20 1136
一.spark介绍 Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是–Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此...
大数据技术——spark集群搭建
qq_53142796的博客
04-13 5296
Spark是一个开源的大数据处理框架，它可以在分布式计算集群上进行高效的数据处理和分析。Spark的特点是速度快、易用性高、支持多种编程语言和数据源。Spark的核心是基于内存的计算模型，可以在内存中快速地处理大规模数据。Spark支持多种数据处理方式，包括批处理、流处理、机器学习和图计算等。Spark的生态系统非常丰富，包括Spark SQL、Spark Streaming、MLlitGraphX等组件，可以满足不同场景下的数据处理需求。
在 pyspark 中读取 Linux 系统本地文件 /data/bigfiles/test.txt，然后统计出文件的行数，直接打印输出统计的结果。
最新发布
09-21
在Pyspark中，你可以使用`SparkContext.textFile()`方法来读取Linux系统的本地文件，然后使用`count()`函数来统计行数。以下是完整的代码示例： ```python from pyspark import SparkConf, SparkContext # 初始化Spark配置 conf = SparkConf().setAppName('LocalFileCounter') # 设置应用名称 sc = SparkContext(conf=conf) # 创建SparkContext # 指定要读取的文件路径 file_path = '/data/bigfiles/test.txt' # 读取文件并计算行数 num_lines = sc.textFile(file_path).count() print(f"文件 '{file_path}' 的总行数是: {num_lines}") # 关闭SparkContext sc.stop() ``` 这段代码首先创建了一个SparkContext实例，然后使用这个上下文来读取指定路径的文本文件。`textFile()`方法返回一个`RDD`（弹性分布式数据集），`count()`方法则用于计算该`RDD`的元素个数，即行数。最后，打印出文件的行数。 如果你运行这段代码，它将在控制台输出类似这样的信息： ``` 文件 '/data/bigfiles/test.txt' 的总行数是: n (假设文件有n行) ``` 注意：在实际环境中，`n`会被替换为实际的行数。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值