【大数据计算】(四) Spark的安装和基础编程

1. 使用Spark Sell编写代码

1.1启动Spark Shell

  • 启动spark先要先启动hdfs

在这里插入图片描述

  • 打开spark-shell
./bin/spark-shell

在这里插入图片描述

1.2 读取文件

  • 读取本地文件
    在这里插入图片描述
  • 读取HDFS文件

在这里插入图片描述
在这里插入图片描述

1.3 编写词频统计程序

  • 读取文件
val textFile = sc.textFile("file:///usr/local/spark-2.4.8/README.md")
  • 统计词频
val wordCount = textFile.flatMap(line => line.split(" ")).map(word=> (word, 1)).reduceByKey((a, b) => a + b)
  • 输出结果
wordCount.collect()

在这里插入图片描述

2. 编写Spark独立应用程序

2.1 用Scala语言编写Spark独立应用程序

  • 安装好sbt
    在这里插入图片描述

  • 检查目录结构
    在这里插入图片描述

  • 查看结果

在这里插入图片描述

如果遇到了java命令不存在的情况,但是自己系统变量里面又有的话。
像下面这种情况
请添加图片描述排除完版本的问题之后!就按照他这样所提示的,可以直接在系统安装一个java环境。多个java环境不影响。

  • 更新
sudo apt-get update
  • 安装
sudo apt-get install openjdk-8-jdk

2.2 用Java语言编写Spark独立应用程序

/usr/local/spark/bin/spark-submit --class "SimpleApp" ~/sparkapp2/target/simple-project-1.0.jar

3. 编程题

3.1 第一题

对于两个输入文件A和B, 编写Spark独立应用程序(推荐使用Scala 语言),对两个文件进行合并,并剔除其中重复的内容,得到一个新的文件C。(文件A,B如下)

  • 代码

在这里插入图片描述

  • 打包
    在这里插入图片描述

  • 输出结果

在这里插入图片描述

3.2 第二题

编写独立应用程序实现求平均值问题,每个输入文件表示班级学生某个学科的成绩,每行内筒由两个字段组成,第一个是学生名字,第二个是学生的成绩;编写Spark独立应用程序(推荐使用Scale语言)求出所有学生的平均成绩,并输入到一个新文件中。

  • 新建三个文件并写入三个数据
    在这里插入图片描述
  • 在spark-shell编写完之后,转移到scala文件

在这里插入图片描述

  • 输出结果
    在这里插入图片描述
  • 7
    点赞
  • 23
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小生凡一

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值