spark2.4.0 scala2.11.12 Maven构建 pom.xml

14 篇文章 0 订阅
5 篇文章 0 订阅

reference case:https://blog.csdn.net/qq262593421/article/details/105768404

Maven search:https://search.maven.org/

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">

  <modelVersion>4.0.0</modelVersion>

  <groupId>com.xtd.spark</groupId>
  <artifactId>spark</artifactId>
  <packaging>jar</packaging>
  <version>1.0</version>

  <name>spark scala maven</name>

  <properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
    <encoding>UTF-8</encoding>
    <zookeeper.version>3.4.5</zookeeper.version>
    <hadoop.version>3.0.0</hadoop.version>
    <hive.version>2.1.1</hive.version>
    <hbase.version>2.1.0</hbase.version>
    <scala.version>2.11.12</scala.version>
    <spark.version>2.4.0</spark.version>
    <gt.version>21.1</gt.version>
    <geomesa.version>2.4.0</geomesa.version>
    <geotools.version>24-SNAPSHOT</geotools.version>
  </properties>

  <dependencies>
    <!-- GeoMesa HBase DataStore -->
    <!-- https://mvnrepository.com/artifact/org.locationtech.geomesa/geomesa-hbase-datastore -->
    <dependency>
      <groupId>org.locationtech.geomesa</groupId>
      <artifactId>geomesa-hbase-datastore_2.11</artifactId>
      <version>${geomesa.version}</version>
    </dependency>
    <dependency>
      <groupId>org.geotools</groupId>
      <artifactId>gt-epsg-wkt</artifactId>
      <version>${gt.version}</version>
    </dependency>
    <dependency>
      <groupId>org.geotools</groupId>
      <artifactId>gt-opengis</artifactId>
      <version>${gt.version}</version>
    </dependency>
    <dependency>
      <groupId>org.geotools</groupId>
      <artifactId>gt-main</artifactId>
      <version>${gt.version}</version>
    </dependency>
    <dependency>
      <groupId>org.geotools</groupId>
      <artifactId>gt-epsg-hsql</artifactId>
      <version>${gt.version}</version>
    </dependency>
    <dependency>
      <groupId>org.geotools</groupId>
      <artifactId>gt-shapefile</artifactId>
      <version>${geotools.version}</version>
    </dependency>

    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>4.11</version>
      <scope>test</scope>
    </dependency>
    <dependency>
      <groupId>org.geotools</groupId>
      <artifactId>gt-swing</artifactId>
      <version>${geotools.version}</version>
    </dependency>
    <!-- https://mvnrepository.com/artifact/org.apache.zookeeper/zookeeper -->
    <dependency>
      <groupId>org.apache.zookeeper</groupId>
      <artifactId>zookeeper</artifactId>
      <version>${zookeeper.version}</version>
      <type>pom</type>
    </dependency>
    <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-client -->
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-client</artifactId>
      <version>${hadoop.version}</version>
    </dependency>
    <!-- https://mvnrepository.com/artifact/org.scala-lang/scala-library -->
    <dependency>
      <groupId>org.scala-lang</groupId>
      <artifactId>scala-library</artifactId>
      <version>${scala.version}</version>
    </dependency>
    <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-sql -->
    <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-sql_2.11</artifactId>
      <version>${spark.version}</version>
      <exclusions>
        <exclusion>
          <groupId>com.google.guava</groupId>
          <artifactId>guava</artifactId>
        </exclusion>
      </exclusions>
    </dependency>
    <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-hive -->
    <dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-hive_2.11</artifactId>
      <version>${spark.version}</version>
      <scope>provided</scope>
    </dependency>

    <!-- https://mvnrepository.com/artifact/com.google.guava/guava -->
    <dependency>
      <groupId>com.google.guava</groupId>
      <artifactId>guava</artifactId>
      <version>15.0</version>
    </dependency>
    <!-- https://mvnrepository.com/artifact/mysql/mysql-connector-java -->
    <dependency>
      <groupId>mysql</groupId>
      <artifactId>mysql-connector-java</artifactId>
      <version>5.1.46</version>
    </dependency>
    <!-- https://mvnrepository.com/artifact/org.apache.hive/hive-cli -->
    <dependency>
      <groupId>org.apache.hive</groupId>
      <artifactId>hive-cli</artifactId>
      <version>${hive.version}</version>
    </dependency>

    <dependency>
      <groupId>log4j</groupId>
      <artifactId>log4j</artifactId>
      <version>1.2.15</version>
      <exclusions>
        <exclusion>
          <groupId>javax.jms</groupId>
          <artifactId>jms</artifactId>
        </exclusion>
        <exclusion>
          <groupId>com.sun.jdmk</groupId>
          <artifactId>jmxtools</artifactId>
        </exclusion>
        <exclusion>
          <groupId>com.sun.jmx</groupId>
          <artifactId>jmxri</artifactId>
        </exclusion>
      </exclusions>
    </dependency>

  </dependencies>

  <repositories>
    <!--<repository>-->
    <!--<id>alimaven</id>-->
    <!--<url>http://maven.aliyun.com/nexus/content/repositories/central/</url>-->
    <!--</repository>-->
    <repository>
      <id>locationtech-releases</id>
      <url>https://repo.locationtech.org/content/groups/releases</url>
      <snapshots>
        <enabled>false</enabled>
      </snapshots>
    </repository>
    <repository>
      <id>locationtech-snapshots</id>
      <url>https://repo.locationtech.org/content/groups/snapshots</url>
      <releases>
        <enabled>false</enabled>
      </releases>
      <snapshots>
        <enabled>true</enabled>
      </snapshots>
    </repository>
    <repository>
      <id>boundlessgeo</id>
      <url>http://repo.boundlessgeo.com/main</url>
    </repository>
    <repository>
      <id>osgeo</id>
      <url>http://download.osgeo.org/webdav/geotools</url>
    </repository>
    <!--<repository>-->
    <!--<id>conjars.org</id>-->
    <!--<url>http://conjars.org/repo</url>-->
    <!--</repository>-->
  </repositories>

  <build>
    <defaultGoal>install</defaultGoal>
    <sourceDirectory>src/main/scala</sourceDirectory>

    <plugins>

      <!-- the Maven compiler plugin will compile Java source files -->
      <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-compiler-plugin</artifactId>
        <version>3.8.0</version>
        <configuration>
          <source>1.8</source>
          <target>1.8</target>
        </configuration>
      </plugin>
      <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-resources-plugin</artifactId>
        <version>3.0.2</version>
        <configuration>
          <encoding>UTF-8</encoding>
        </configuration>
      </plugin>

      <!-- the Maven Scala plugin will compile Scala source files -->
      <plugin>
        <groupId>net.alchim31.maven</groupId>
        <artifactId>scala-maven-plugin</artifactId>
        <version>3.2.2</version>
        <executions>
          <execution>
            <goals>
              <goal>compile</goal>
            </goals>
          </execution>
        </executions>
      </plugin>

      <!-- configure the eclipse plugin to generate eclipse project descriptors for a Scala project -->
      <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-eclipse-plugin</artifactId>
        <version>2.10</version>
        <configuration>
          <projectnatures>
            <projectnature>org.scala-ide.sdt.core.scalanature</projectnature>
            <projectnature>org.eclipse.jdt.core.javanature</projectnature>
          </projectnatures>
          <buildcommands>
            <buildcommand>org.scala-ide.sdt.core.scalabuilder</buildcommand>
          </buildcommands>
          <classpathContainers>
            <classpathContainer>org.scala-ide.sdt.launching.SCALA_CONTAINER</classpathContainer>
            <classpathContainer>org.eclipse.jdt.launching.JRE_CONTAINER</classpathContainer>
          </classpathContainers>
          <excludes>
            <exclude>org.scala-lang:scala-library</exclude>
            <exclude>org.scala-lang:scala-compiler</exclude>
          </excludes>
          <sourceIncludes>
            <sourceInclude>**/*.scala</sourceInclude>
            <sourceInclude>**/*.java</sourceInclude>
          </sourceIncludes>
        </configuration>
      </plugin>

      <!-- allows the route to be run via 'mvn exec:java' -->
      <plugin>
        <groupId>org.codehaus.mojo</groupId>
        <artifactId>exec-maven-plugin</artifactId>
        <version>1.6.0</version>
        <configuration>
          <mainClass>com.xtd.spark.MyRouteMain</mainClass>
        </configuration>
      </plugin>
    </plugins>
  </build>

</project>

 

  • 2
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
### 回答1: 以下是一个基本的 pom.xml 文件,用于使用 Spark 2.4.0 和 Scala 2.11.12 构建 Maven 项目: ``` <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion> <groupId>com.example</groupId> <artifactId>my-spark-project</artifactId> <version>1.0-SNAPSHOT</version> <properties> <spark.version>2.4.0</spark.version> <scala.version>2.11.12</scala.version> </properties> <dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <version>${spark.version}</version> </dependency> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql_2.11</artifactId> <version>${spark.version}</version> </dependency> </dependencies> <build> <plugins> <plugin> <groupId>org.scala-tools</groupId> <artifactId>maven-scala-plugin</artifactId> <version>2.15.2</version> <executions> <execution> <goals> <goal>compile</goal> <goal>testCompile</goal> </goals> </execution> </executions> </plugin> </plugins> </build> </project> ``` 这个 pom.xml 文件定义了一个 Maven 项目,它依赖于 Spark CoreSpark SQL,版本分别为 2.4.0,Scala 版本为 2.11.12。它还包括一个 Maven Scala 插件,用于编译 Scala 代码。 ### 回答2: Spark是大数据处理中常用的开源框架,提供了一些强大的API和工具,使得数据处理变得更加快速和简单。在使用Spark的过程中,maven是常用的构建工具,能够实现依赖管理和打包发布。下面将介绍如何使用maven构建Spark 2.4.0版本,在Scala 2.11.12环境下,使用pom.xml文件。 首先,在使用maven构建Spark项目之前,需要在本地或基础设施中安装好SparkScala的环境,并配置好相应的环境变量和编译器。接着,创建一个新的maven项目,命名为SparkProject。 在项目的根目录下,创建一个pom.xml文件,用于管理项目的相关配置和依赖。在pom.xml文件中,需要定义一些属性、依赖和插件来构建和管理Spark项目。 首先,定义项目的基本信息,如groupId、artifactId、version和name等。其次,定义ScalaSpark的依赖,在dependencies标签中添加以下代码: ``` <dependencies> <dependency> <groupId>org.scala-lang</groupId> <artifactId>scala-library</artifactId> <version>2.11.12</version> </dependency> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <version>2.4.0</version> </dependency> </dependencies> ``` 这样就引入了ScalaSpark的相关类库和依赖文件。接下来,还需要定义插件来管理项目的编译和打包。 对于Spark项目,常用的maven插件有maven-compiler-plugin和maven-assembly-plugin。前者用于编译源码文件,后者用于将编译好的目标文件打成一个jar包。在pom.xml文件中添加以下代码: ``` <build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-compiler-plugin</artifactId> <version>3.6.1</version> <configuration> <source>1.8</source> <target>1.8</target> </configuration> </plugin> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-assembly-plugin</artifactId> <version>2.2-beta-5</version> <configuration> <finalName>${project.artifactId}-${project.version}</finalName> <archive> <manifest> <mainClass>com.example.spark.SparkMainClass</mainClass> </manifest> </archive> <descriptorRefs> <descriptorRef>jar-with-dependencies</descriptorRef> </descriptorRefs> </configuration> <executions> <execution> <id>make-assembly</id> <phase>package</phase> <goals> <goal>single</goal> </goals> </execution> </executions> </plugin> </plugins> </build> ``` 在maven-assembly-plugin的配置中,设置finalName来指定打包后的名称,manifest中的mainClass是打包后的入口类,descriptorRefs中设置jar-with-dependencies表示打包时包含所有的依赖文件和类库。 最后,在src/main/java目录下创建SparkMainClass.scala文件,包含程序的入口和操作逻辑。在代码中引用需要的ScalaSpark类库。 完成以上步骤后,即可在命令行执行以下命令来编译和打包Spark项目: ``` mvn clean mvn package ``` 通过执行以上命令,即可得到一个包含所有依赖和目标文件的jar包,在Spark环境中直接运行即可。 ### 回答3: Spark是一种强大的分布式计算框架,可用于批处理、流处理和机器学习等各种计算任务。为了使用Spark,我们需要安装和配置好相应的环境,其中包括ScalaMavenSpark本身。本文将重点介绍如何用Maven构建Spark 2.4.0应用程序,并将Scala版本设置为2.11.12。 首先,我们需要在本地安装Maven。可以在Maven官方网站(https://maven.apache.org/download.cgi)上下载最新版本的Maven,并按照说明进行安装。 接下来,我们需要创建一个新的Maven项目,并为其添加必要的依赖和设置。为了使SparkScala 2.11.12兼容,我们应该在pom.xml中为Scala版本指定相应的依赖项。此外,我们还需要添加Spark CoreSpark SQL依赖项,以便执行计算任务并访问数据源。 ```xml <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion> <groupId>com.example</groupId> <artifactId>spark-example</artifactId> <version>1.0-SNAPSHOT</version> <name>Spark Example</name> <properties> <scala.version>2.11.12</scala.version> <spark.version>2.4.0</spark.version> </properties> <dependencies> <dependency> <groupId>org.scala-lang</groupId> <artifactId>scala-library</artifactId> <version>${scala.version}</version> </dependency> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_${scala.version}</artifactId> <version>${spark.version}</version> </dependency> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql_${scala.version}</artifactId> <version>${spark.version}</version> </dependency> </dependencies> </project> ``` 完成上述设置后,我们可以使用Maven构建并运行Spark应用程序。我们可以使用SparkSession API创建一个SparkSession实例,并使用该实例来执行各种Spark任务。以下是一个简单的Spark任务例子,将读取一个本地文件并对其中的单词进行计数: ```scala import org.apache.spark.sql.SparkSession object WordCount { def main(args: Array[String]) { val spark = SparkSession.builder .appName("Word Count") .master("local[*]") .getOrCreate() val lines = spark.read.textFile("path/to/file.txt").rdd val counts = lines.flatMap(_.split(" ")).map(word => (word, 1)).reduceByKey(_ + _) counts.foreach(println) spark.stop() } } ``` 在本例中,我们首先创建一个SparkSession实例,并指定应用程序名称和Spark Master URL。然后,我们使用SparkSession的read方法读取文本文件,并将其转换为RDD。最后,我们对RDD执行一些转换操作,最终将计算结果保存到一个结果集中,并打印出来。 要构建和运行我们的Spark应用程序,可以使用以下命令: ```bash mvn package spark-submit --class com.example.WordCount target/spark-example-1.0-SNAPSHOT.jar path/to/input.txt ``` 以上就是使用Scala 2.11.12Maven构建Spark 2.4.0应用程序的完整过程。希望本文对你有所帮助,并能让你更好地理解如何使用Spark和相关技术构建强大的分布式计算应用程序。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

日月星辰TEL

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值