一个Spark maven项目打包并使用spark-submit运行

最新推荐文章于 2024-07-29 18:14:55 发布

Cheengvho

最新推荐文章于 2024-07-29 18:14:55 发布

阅读量8.3k

点赞数 1

分类专栏： HDFS Spark Scala

本文链接：https://blog.csdn.net/m0_37890482/article/details/81984477

版权

本文介绍了如何将一个使用Scala编写的Spark项目打包为jar，并通过`spark-submit`命令在本地及YARN集群上运行。项目源代码位于`stubs`包下的`CountJPGs.scala`文件，主要功能是处理HDFS上的web日志文件。打包后，jar文件存储在`target`目录。在YARN上运行时，可以通过配置文件传递参数。

摘要由CSDN通过智能技术生成

项目目录名 countjpgs
pom.xml文件（位于项目目录下）
countjpgs => src => main => scala => stubs => CountJPGs.scala
weblogs文件存放在HDFS的/loudacre目录下，是一个包含各种请求的web日志文件。

pom.xml文件内容：

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">
  <modelVersion>4.0.0</modelVersion>
  <groupId>com.cloudera.training.dev1</groupId>
  <artifactId>countjpgs</artifactId>
  <version>1.0</version>
  <packaging>jar</packaging>
  <name>"Count JPGs"</name>
  
  <properties>
    <spark-assembly>/usr/lib/spark/lib/spark-assembly.jar</spark-assembly>
    <hadoop-mapreduce-client-common>/usr/lib/hadoop/client/hadoop-mapreduce-client-common.jar</hadoop-mapreduce-client-common>
    <hadoop-mapreduce-client-core>/usr/lib/hadoop/client/hadoop-mapreduce-client-core.jar</hadoop-mapreduce-client-core>
    <hadoop-common>/usr/lib/hadoop/client/hadoop-common.jar</hadoop-common>
    <avro>/usr/lib/hadoop/client/avro.jar</avro>
    <commons-lang>/usr/lib/hadoop/client/commons-lang.jar</commons-lang>
    <guava>/usr/l