大数据技术之Spark ——（二）Spark快速入门案例 WordCount

目录

一、IDEA编写wordcount

1、本地环境准备

【1】创建maven项目

【2】添加scala开发框架支持

【3】测试scala运行环境是否成功

【4】添加spark依赖关系

2、编写wordcount

【1】准备本地测试文件

【2】编写代码

【3】运行结果：

3、依赖导入下载太慢解决

 二、Spark编写wordcount

---

一、IDEA编写wordcount

1、本地环境准备

【1】创建maven项目

开发前请保证 IDEA 开发工具中含有 Scala 开发插件

如何下载scala插件

在idea中 settings---> plugins-->搜索scala下载

 

【2】添加scala开发框架支持

点击新建的项目 右键 Add Frameworks Support

第一次添加如果发现没有sdk 点击create 然后点击Browse 选择安装的scala路径即可 确定 点击ok

 

【3】测试scala运行环境是否成功

编写简单代码进行测试

 

【4】添加spark依赖关系

修改 Maven 项目中的 POM 文件，增加 Spark 框架的依赖，使用时请注意对应版本。

 <dependencies>
         <dependency>
             <groupId>org.apache.spark</groupId>
             <artifactId>spark-core_2.12</artifactId>
             <version>3.0.0</version>
         </dependency>
     </dependencie