实验7 Spark初级编程实践

最新推荐文章于 2024-04-30 22:35:32 发布
最新推荐文章于 2024-04-30 22:35:32 发布
阅读量1.7w 收藏 242
点赞数 46
分类专栏： 实验报告 大数据技术与原理 文章标签： spark hadoop hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46584887/article/details/122100617
版权

文章目录

一、实验目的

  1. 掌握使用 Spark 访问本地文件和 HDFS 文件的方法
  2. 掌握 Spark 应用程序的编写、编译和运行方法

二、实验平台

  1. 操作系统：Ubuntu18.04（或Ubuntu16.04）
  2. Spark版本：3.2.0
  3. Hadoop版本：3.3.2

三、实验步骤

1. 准备工作

（1）安装spark及其API程序

安装 spark：Ubuntu下安装Spark3.2.0教程
安装 sbt：Ubuntu下为Spark安装配置sbt

（2）配置环境变量

修改你的 .bashrc 文件：

vim ~/.bashcrc

添加以下内容至文件顶部：

export SPARK_HOME=/usr/local/spark
export PATH=$PATH:$SPARK_HOME/bin

使修改立即生效：

source ~/.bashrc

（3）启动Hadoop

进入 Hadoop 安装目录：

cd /usr/local/hadoop

启动并使用 jps 检查结点：

./sbin/start-dfs.sh
jps

2. Spark读取文件系统的数据

（1）在spark-shell中读取Linux系统本地文件“/home/hadoop/test.txt”，然后统计出文件的行数；
创建 test.txt：

echo -e "Hello\nThis is a test\nBye!" >> ~/test.txt

启动 spark-shell：

cd  /usr/local/spark
./bin/spark-shell

Scala 命令：

val textFile=sc.textFile("file:///home/hadoop/test.txt")

textFile.count()

输出如下：

scala> val textFile=sc.textFile("file:///home/hadoop/test.txt")
textFile: org.apache.spark.rdd.RDD[String] = file:///home/hadoop/test.txt MapPartitionsRDD[1] at textFile at <console>:23

scala> textFile.count()
res0: Long = 3

（2）在spark-shell中读取HDFS系统文件“/user/hadoop/test.txt”（如果该文件不存在，请先创建），然后，统计出文件的行数；

上传 test.txt 文件至 HDFS 中（终端中执行，退出 spark-shell）：

/usr/local/hadoop/bin/hdfs dfs -put ~/test.txt

Scala 命令如下（spark-shell）：

val textFile=sc.textFile("hdfs://localhost:9000/user/hadoop/test.txt")

textFile.count()

输出如下：

scala> val textFile=sc.textFile("hdfs://localhost:9000/user/hadoop/test.txt")
textFile: org.apache.spark.rdd.RDD[String] = hdfs://localhost:9000/user/hadoop/test.txt MapPartitionsRDD[3] at textFile at <console>:23

scala> textFile.count()
res1: Long = 3

（3）编写独立应用程序（推荐使用Scala语言），读取HDFS系统文件“/user/hadoop/test.txt”（如果该文件不存在，请先创建），然后，统计出文件的行数；通过sbt工具将整个应用程序编译打包成 JAR包，并将生成的JAR包通过 spark-submit 提交到 Spark 中运行命令。

进入 spark 安装目录：

cd /usr/local/spark
mkdir mycode && cd mycode

创建 HDFStest 目录并编写 Scala 文件：

mkdir -p HDFStest/src/main/scala
vim ./HDFStest/src/main/scala/HDFStest.scala

代码如下：

/* HDFStest.scala */
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf
 
object HDFStest {
    def main(args: Array[String]) {
        val logFile = "hdfs://localhost:9000/user/hadoop/test.txt"
        val conf = new SparkConf().setAppName("Simple Application")
        val sc = new SparkContext(conf)
        val logData = sc.textFile(logFile, 2)
        val num = logData.count()
        printf("The num of this file is %d\n", num)
    }
}

进入 HDFStest 目录，创建 simple.sbt：

cd HDFStest
vim simple.sbt

内容如下：

name := "A Simple HDFS Test"
version := "1.0"
scalaVersion := "2.12.15"
libraryDependencies += "org.apache.spark" %% "spark-core" % "3.2.0"

注意这里的 scalaVersion 是你的 Scala 版本，spark-core 是你的 spark 版本。接下来，可以通过如下代码将整个应用程序打包成 JAR：

/usr/local/sbt/sbt package

打包成功输出如下：

在这里插入图片描述

运行如下代码使用生成的 jar 包：

/usr/local/spark/bin/spark-submit  --class  "HDFStest" /usr/local/spark/mycode/HDFStest/target/scala-2.12/a-simple-hdfs-test_2.12-1.0.jar 2>& 1 | grep The

输出如下：

在这里插入图片描述

3. 编写独立应用程序实现数据去重

对于两个输入文件 A 和 B，编写 Spark 独立应用程序（推荐使用 Scala 语言），对两个文件进行合并，并剔除其中重复的内容，得到一个新文件 C。下面是输入文件和输出文件的一个样例，供参考。

输入文件 A 的样例如下：

20170101 x
20170102 y
20170103 x
20170104 y
20170105 z
20170106 z

输入文件 B 的样例如下：

20170101 y
20170102 y
20170103 x
20170104 z
20170105 y

根据输入的文件 A 和 B 合并得到的输出文件 C 的样例如下：

20170101 x
20170101 y
20170102 y
20170103 x
20170104 y
20170104 z
20170105 y
20170105 z
20170106 z

进入到 mycode 目录，新建 RemDup 目录，

cd /usr/local/spark/mycode
mkdir -p RemDup/src/main/scala
cd RemDup

新建 datas 目录，写入文件 A 和文件 B：

mkdir datas

注意这里 A 和 B 文件内容不能有多余的换行符或者空格！

vim ./datas/A

vim ./datas/B

编写 Scala 文件：

vim ./src/main/scala/RemDup.scala

代码如下：

import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf
import org.apache.spark.HashPartitioner

object RemDup {
    def main(args: Array[String]) {
        val conf = new SparkConf().setAppName("RemDup")
        val sc = new SparkContext(conf)
        val dataFile = "file:///usr/local/spark/mycode/RemDup/datas"
        val data = sc.textFile(dataFile,2)
        val res = data.filter(_.trim().length>0).map(line=>(line.trim,"")).partitionBy(new HashPartitioner(1)).groupByKey().sortByKey().keys
        res.saveAsTextFile("file:///usr/local/spark/mycode/RemDup/result")
    }
}

编写 simple.sbt 文件：

vim simple.sbt

内容如下：

name := "Remove Duplication"
version := "1.0"
scalaVersion := "2.12.15"
libraryDependencies += "org.apache.spark" %% "spark-core" % "3.2.0"

使用如下命令打包：

/usr/local/sbt/sbt package

使用生成的 jar 包：

/usr/local/spark/bin/spark-submit --class "RemDup"  /usr/local/spark/mycode/RemDup/target/scala-2.12/remove-duplication_2.12-1.0.jar

使用如下命令查看输出：

cat result/*

输出如下：

在这里插入图片描述

4. 编写独立应用程序实现求平均值问题

每个输入文件表示班级学生某个学科的成绩，每行内容由两个字段组成，第一个是学生名字，第二个是学生的成绩；编写 Spark 独立应用程序求出所有学生的平均成绩，并输出到一个新文件中。下面是输入文件和输出文件的一个样例，供参考。

Algorithm 成绩：

小明 92
小红 87
小新 82
小丽 90

Database 成绩：

小明 95
小红 81
小新 89
小丽 85

Python 成绩：

小明 82
小红 83
小新 94
小丽 91

平均成绩如下：

(小红,83.67)
(小新,88.33)
(小明,89.67)
(小丽,88.67)

进入到 mycode 目录，新建 AvgScore 目录，

cd /usr/local/spark/mycode
mkdir -p AvgScore/src/main/scala
cd AvgScore

新建 datas 目录，写入文件 algorithm、database、python：

mkdir datas

注意这里 algorithm、database 和 python 文件内容不能有多余的换行符或者空格！

vim ./datas/algorithm

vim ./datas/database

vim ./datas/python

编写 Scala 文件：

vim ./src/main/scala/AvgScore.scala

代码如下：

import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf
import org.apache.spark.HashPartitioner

object AvgScore {
    def main(args: Array[String]) {
        val conf = new SparkConf().setAppName("AvgScore")
        val sc = new SparkContext(conf)
        val dataFile = "file:///usr/local/spark/mycode/AvgScore/datas"
        val data = sc.textFile(dataFile,3)

       val res = data.filter(_.trim().length>0).map(line=>(line.split(" ")(0).trim(),line.split(" ")(1).trim().toInt)).partitionBy(new HashPartitioner(1)).groupByKey().map(x => {
       	   	var n = 0
	       	var sum = 0.0
	       	for(i <- x._2){
				sum = sum + i
	       		n = n +1
    	    }
	        val avg = sum/n
    	    val format = f"$avg%1.2f".toDouble
    	    (x._1,format)
	    })
       res.saveAsTextFile("file:///usr/local/spark/mycode/AvgScore/result")
    }
}

编写 simple.sbt 文件：

vim simple.sbt

内容如下：

name := "Average Score"
version := "1.0"
scalaVersion := "2.12.15"
libraryDependencies += "org.apache.spark" %% "spark-core" % "3.2.0"

使用如下命令打包：

/usr/local/sbt/sbt package

使用生成的 jar 包：

/usr/local/spark/bin/spark-submit --class "AvgScore"  /usr/local/spark/mycode/AvgScore/target/scala-2.12/average-score_2.12-1.0.jar

使用如下命令查看输出：

cat result/*

输出如下：

在这里插入图片描述

四、实验总结

Z.Q.Feng
关注
专栏目录
大数据技术原理及应用课实验7 :Spark初级编程实践
weixin_60530224的博客
01-22 1631
对于访问本地文件，我们可以使用Spark的textFile()方法来读取本地的文本文件，而对于访问HDFS文件，则需要设置HDFS的URL和存储路径，在编写、编译和运行Spark应用程序时，需要使用Scala或Java等语言来编写Spark的代码，并使用sbt或Maven等工具来进行编译和打包。（3）编写独立应用程序（推荐使用Scala语言），读取HDFS系统文件“/user/hadoop/test.txt”（如果该文件不存在，请先创建），然后，统计出文件的行数；1. Spark读取文件系统的数据。
大数据实验 实验六：Spark初级编程实践_spark 读取文件系统的数据 (1)在spark-shell中读取 linux操作系统本地文件&quot；h
code8889的博客
04-12 1927
最近很多小伙伴找我要Linux学习资料，于是我翻箱倒柜，整理了一些优质资源，涵盖视频、电子书、PPT等共享给大家！
实验七：Spark初级编程实践
07-15
1、实验环境： 设备名称 LAPTOP-9KJS8HO6 处理器 Intel(R) Core(TM) i5-10300H CPU @ 2.50GHz 2.50 GHz 机带 RAM 16.0 GB (15.8 GB 可用) 主机操作系统 Windows 10 家庭中文版 虚拟机操作系统 ubuntukylin-16.04 Hadoop 版本 3.1.3 JDK 版本 1.8 Java IDE：Eclipse 系统类型 64 位操作系统, 基于 x64 的处理器 笔和触控 没有可用于此显示器的笔或触控输入 2、实验内容与完成情况： 1. 安装hadoop和spark。 将下载好的安装包解压至固定路径并安装 使用命令./bin/spark-shell启动spark 图2启动spark 2. Spark读取文件系统的数据 （1） 在spark-shell中读取Linux系统本地文件“/home/hadoop/test.txt”，然后统计出文件的行数； 图3 spark统计行数 （2） 在spark-shell中读取HDFS系统文件“/user/hadoop/test.txt”（
Spark RDD编程初级实践
m0_49972043的博客
04-17 3786
Spark RDD编程初级实践湖工大永远滴神 茂林！！！第一关 数据去重第二个 整合排序第三关 求平均值 湖工大永远滴神 茂林！！！ RDD(Resilient Distributed Datasets, 弹性分布式数据集)是Spark最为核心的概念，它是一个只读的、可分区的分布式数据集，这个数据集的全部或部分可以缓存在内存中，可在多次计算间重用。Spark用Scala语言实现了RDD的API，程序员可以通过调用API实现对RDD的各种操作，从而实现各种复杂的应用。 RDD编程都是从创建RDD开始的，可以通
实验7 spark 初级编程实践-scala
11-07
实验7中，我们学习到了如何使用Spark来进行编程实践，其中使用的是Scala语言。Spark是一个开源的分布式计算框架，它可以高效地处理大规模的数据集。 在实验中，我们首先学习了Spark的基本概念和架构。Spark使用了...
《Spark编程基础及项目实践》课后习题及答案7.pdf
04-04
《Spark编程基础及项目实践》课程的课后习题涵盖了Spark图形处理的基础概念和技术，主要涉及图论基础知识、Spark图计算API以及实际操作题目。以下是这些知识点的详细说明： 1. **图论基础**： - **度的概念**：在...
Spark开发实例（编程实践）
01-07
本节将介绍如何实际动手进行 RDD 的转换与操作，以及如何编写、编译、打包和运行 Spark 应用程序。 启动 Spark Shell Spark 的交互式脚本是一种学习 API 的简单途径，也是分析数据集交互的有力工具。Spark 包含多种运行模式，可使用单机模式，也可以使用分布式模式。为简单起见，本节采用单机模式运行 Spark。 无论采用哪种模式，只要启动完成后，就初始化了一个 SparkContext 对象（SC），同时也创建了一个 SparkSQL 对象用于 SparkSQL 操作。进入 Scala 的交互界面中，就可以进行 RDD 的转换和行动操作。 进入目录 SPARK_HOM
spark（实验七）
A2206348612的博客
05-20 1123
一.spark介绍 Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是–Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此...
大数据实验 实验六：Spark初级编程实践
ADEXOM的博客
11-28 2889
大数据实验 实验六：Spark初级编程实践
Spark SQL编程初级实践
最新发布
充满焦虑的大学生
04-30 2439
【代码】Spark SQL编程初级实践。
实验5 Spark SQL编程初级实践
weixin_30520015的博客
03-26 1339
1.Spark SQL基本操作 将下列 json 数据复制到你的 ubuntu 系统/usr/local/spark 下，并保存命名为 employee.json 答案： scala> import org.apache.spark.sql.SparkSession scala> val spark=SparkSession.builder().getOrCreate(...
Spark大数据分析与实战：Spark Streaming编程初级实践Spark Streaming编程初级实践
qq_27851579的博客
07-08 1500
Spark Streaming编程初级实践 一、安装Hadoop和Spark 具体的安装过程在我以前的博客里面有，大家可以通过以下链接进入操作： [ Hadoop的安装：https://blog.csdn.net/weixin_47580081/article/details/108647420 ](https://blog.csdn.net/weixin_47580081/article/details/108647420?spm=1001.2014.3001.5501) [ Scala及Spark的安装
【Spark编程基础】实验一Spark编程初级实践（附源代码）
a1234567822的博客
03-10 1573
Line 类的第一个参数表示其位置，第二个参数表示另一个端点，Line 放缩的时候，其中点位置不变，长度按倍数放缩（注意，缩放时，其两个端点信息也改变了），另外，Line 的 move 行为影响了另一个端点，需要对move 方法进行重载。Circle 类第一个参数表示其圆心，也是其位置，另一个参数表示其半径，Circle 缩放的时候，位置参数不变，半径按倍数缩放。给定任何一个如上格式的清单（不同清单里课程数量可能不一样），要求尽可能采用函 数式编程，统计出各门课程的平均成绩，最低成绩，和最高成绩；
Spark编程实践
crazy_scott的博客
10-26 480
使用Scala和Java编写Spark程序。 Spark编程 Scala实现 sbt 首先安装sbt unzip sbt-1.2.6.zip -d /usr/local/ 赋予权限 sudo chown –R hadoop /usr/local/ 添加进环境变量PATH中vim ~/.bashrc。 执行sbt version看是否安装成功，此时会下载一些依赖，确保联网。 编程 在/...
【Spark编程基础】实验三RDD 编程初级实践(附源代码）
a1234567822的博客
03-17 5547
对于两个输入文件 A 和 B，编写 Spark 独立应用程序，对两个文件进行合并，并剔除其。名字，第二个是学生的成绩；编写 Spark 独立应用程序求出所有学生的平均成绩，并输出到。中重复的内容，得到一个新文件 C。下面是输入文件和输出文件的一个样例，供参考。每个输入文件表示班级学生某个学科的成绩，每行内容由两个字段组成，第一个是学生。2、操作系统：linux（推荐使用Ubuntu16.04）。下面是输入文件和输出文件的一个样例，供参考。3、Jdk版本：1.7或以上版本。
评论 19
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Z.Q.Feng

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值