spark+IntellijIDE 项目搭建

最新推荐文章于 2024-08-07 04:18:12 发布

qingwufeiyang_530

最新推荐文章于 2024-08-07 04:18:12 发布

阅读量673

点赞数

分类专栏：实战文章标签： scala项目搭建 spark scala

本文链接：https://blog.csdn.net/qingwufeiyang_530/article/details/81069980

版权

本文介绍了如何在Intellij IDEA中使用Maven搭建一个Scala项目，并集成Spark。从创建项目到配置Scala SDK，再到添加Spark依赖，解决版本冲突问题，最终实现运行一个简单的Spark任务。

摘要由CSDN通过智能技术生成

1、new project ，选择maven ，JDK1.8，模板选择camel-archetype-scala

2、Next，

GroupId：com.xx.aa

ArtiFactId：sparkPrj

Version:1.0-SNAPSHOT

3、选择对应的maven

4、输入对应的项目名称，finish即可。

完成的项目结构如下图：

5、需要给项目加上scala依赖才能新增scala class

File -》project structure-》Modules ，选中新建的那个项目，在dependencies页签，点击右侧+号，library ，加入你的scala-sdk

6、新建一个HelloWorld.scala,运行成功！！！

至此一个scala项目已经建好。

项目的pom。xml如下：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">

  <modelVersion>4.0.0</modelVersion>

  <groupId>com.xx.aa</groupId>
  <artifactId>scalaprj</artifactId>
  <packaging>jar</packaging>
  <version>1.0-SNAPSHOT</version>

  <name>A Camel Scala Route</name>

  <properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
  </properties>

  <dependencyManagement>
    <dependencies>
      <!-- Camel BOM -->
      <dependency>
        <groupId>org.apache.camel</groupId>
        <artifactId>camel-parent</artifactId>
        <version>2.22.0</version>
        <scope>import</scope>
        <type>pom</type>
      </dependency>
    </dependencies>
  </dependencyManagement>

  <dependencies>

    <dependency>
      <groupId>org.apache.camel</groupId>
      <artifactId>camel-core</artifactId>
    </dependency>
    <dependency>
      <groupId>org.apache.camel</groupId>
      <artifactId>camel-scala</artifactId>
    </dependency>

    <!-- scala -->
    <dependency>
      <groupId>org.scala-lang</groupId>
      <artifactId>scala-library</artifactId>
      <version>2.11.7</version>
    </dependency>
    <dependency>
      <groupId>org.scala-lang.modules</groupId>
      <artifactId>scala-xml_2.11</artifactId>
      <version>1.0.6</version>
    </dependency>

    <!-- logging -->
    <dependency>
      <groupId>org.apache.logging.log4j</g