Intellij IDEA编写Spark应用程序超详细步骤（IDEA+Maven+Scala）

最新推荐文章于 2024-09-30 18:42:15 发布

Wingkin-

最新推荐文章于 2024-09-30 18:42:15 发布

阅读量1.1w

点赞数 15

分类专栏：大数据文章标签： spark maven scala

本文链接：https://blog.csdn.net/Wing_kin666/article/details/111246201

版权

本文详细介绍了如何在IntelliJ IDEA中使用Maven和Scala构建Spark应用程序。首先，安装Scala插件，然后创建Maven项目，并添加Spark和Scala的依赖。接着，配置Scala SDK，添加Scala支持，并编写WordCount.scala对象。最后，打包项目到服务器运行，成功避免了运行时错误。

摘要由CSDN通过智能技术生成

本文介绍Intellij IDEA编写Spark应用程序，读取hdfs上的文件，进行文件的词频统计，项目使用maven构建。

一、安装Scala插件
依次选择File->Settings->Plugins，在Marketplace中搜索scala进行安装，安装后根据提示重启IDEA。
在这里插入图片描述
二、创建maven项目
1.File->New->Project，选择Maven，点next

2.输入项目的名字，设置想要的GroupId，当然也可以不设置，然后Finish
在这里插入图片描述

三、添加pom依赖
1.在服务器spark安装目录下输入./bin/spark-shell，查看spark和Scala的版本
在这里插入图片描述

2.pom.xml文件添加代码，把spark.version和scala.version改成自己的版本

<properties>
    <spark.version>2.1.0</spark.version>
    <scala.version>2.11</scala.version>
  </properties>
  <dependencies>
    <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-core_${
   scala.version}</artifactId>
      <version>${
   spark.version}</version>
    </dependency>
    <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-streaming_${
   scala.version}</artifactId