Spark05：【案例】单词计数：Scala代码和Java代码实现以及任务提交的几种方式

最新推荐文章于 2024-07-02 00:47:53 发布

做一个有趣的人Zz

最新推荐文章于 2024-07-02 00:47:53 发布

阅读量2.1k

点赞数 2

分类专栏： spark 文章标签： scala spark hadoop

本文链接：https://blog.csdn.net/weixin_40612128/article/details/123327138

版权

spark 专栏收录该内容

19 篇文章 0 订阅 ¥39.90 ¥99.00

订阅专栏

本文介绍了Spark实现单词计数的案例，包括Scala和Java两种编程语言的代码实现，并详细讲解了使用idea、spark-submit和spark-shell三种方式提交Spark任务的步骤，以及Spark historyServer的配置和使用。

摘要由CSDN通过智能技术生成

一、单词计数

首先看来一个快速入门案例，单词计数
这个需求就是类似于我们在学习MapReduce的时候写的案例

需求这样的：读取文件中的所有内容，计算每个单词出现的次数

这个需求就没什么好分析的了，咱们之前在学习MapReduce的已经分析过了，接下来就来看一下使用Spark需要如何实现。

注意：由于Spark支持Java、Scala这些语言，目前在企业中大部分公司都是使用Scala语言进行开发，个别公司会使用java进行开发，为了加深大家对Spark的理解，也满足java老程序员的需求，针对本课程中的案例，我们都会先基于Scala代码进行详细的讲解，然后再使用java代码重新实现一遍。