Spark大数据处理讲课笔记2.4 IDEA开发词频统计项目

文章目录

• 零、本讲学习目标
• 一、词频统计准备工作
• • （一）版本选择问题
  • （二）安装Scala2.12.15
  • （三）启动集群的HDFS与Spark
  • （四）在HDFS上准备单词文件
• 二、本地模式运行Spark项目
• • （一）新建Maven项目
  • （二）添加项目相关依赖
  • （三）创建日志属性文件
  • （四）添加Scala SDK
  • （五）创建HDFS配置文件
  • （六）创建词频统计单例对象
  • （七）运行程序，查看结果
  • （八）解析程序代码
  • • 1、Spark配置对象
    • 2、Spark容器对象
    • 3、读取文本文件方法
  • （九）修改程序，使用命令行参数
• 三、集群模式运行Spark项目
• • （一）利用Maven打包
  • （二）利用IDEA打包
  • （三）执行提交命令
  • • 1、不带参数执行
    • • （1）采用client提交方式
      • （2）采用cluster提交方式
    • 2、带参数执行
    • • （1）采用client提交方式
      • （2）采用cluster提交方式
      • （3）提交命令参数解析
  • （四）Spark WebUI界面查看应用程序信息

零、本讲学习目标

1. 掌握本地模式执行Spark程序
2. 掌握集群模式执行Spark程序

一、词频统计准备工作

• 单词计数是学习分布式计算的入门程序，有很多种实现方式，例如MapReduce；使用Spark提供的RDD算子可以更加轻松地实现单词计数。
• 在IntelliJ IDEA中新建Maven管理的Spark项目，在该项目中使用Scala语言编写Spark的WordCount程序，可以本地运行Spark项目查看结果，也可以将项目打包提交到Spark集群（Standalone模式）中运行。

（一）版本选择问题

• 前面创建了Spark集群（Standalone模式），采用的是Spark3.3.2版本

• Spark3.3.2用的Scala库是2.13，但是Spark-Shell里使用的Scala版本是2.12.15