基于maven搭建spark工程

最新推荐文章于 2023-02-22 16:46:41 发布

VIP文章 this is a book

最新推荐文章于 2023-02-22 16:46:41 发布

阅读量538

点赞数

分类专栏： spark 文章标签：搭建spark工程

本文链接：https://blog.csdn.net/an13654067079/article/details/126040009

版权

1 背景

需要基于spark 开发数据处理程序

语言为java

依赖管理工具为maven

2 具体步骤

2.1 创建maven工程

小白操作，本文不写，如果不会，那么先学基础

2.1 引入依赖

 <properties>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.compiler.target>
        <spark.version>2.2.0</spark.version>
        <hadoop.version>2.7.2</hadoop.version>
        <hadoop-core.version>1.2.1</hadoop-core.version>
        <scala.version>2.11.8</scala.version>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>${scala.version}</version>
        </dependency>