使用Maven对Scala独立应用程序进行编译打包

一、 安装Maven

1.解压,移动安装包
sudo tar -zxf ~/apache-maven-3.9.6-bin.tar.gz -C /usr/local/
cd /usr/local/
sudo mv apache-maven-3.9.6/ ./maven-3.9.6
sudo chown -R qiangzi ./maven-3.9.6

二、Scala应用程序代码

1.在终端中执行如下命令创建一个文件夹 sparkapp3作为应用程序根目录:

cd /usr/local/spark-2.1.0/mycode  # 进入项目目录,需提前创建
mkdir ./sparkapp3   # 创建应用程序根目录
mkdir -p ./sparkapp3/src/main/scala     # 创建所需的文件夹结构

2.在 ./sparkapp3/src/main/scala 下建立一个名为 SimpleApp.scala 的文件(vim ./sparkapp3/src/main/scala/SimpleApp.scala),添加代码如下:

/* SimpleApp.scala */
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf
 
object SimpleApp {
        def main(args: Array[String]) {
            val logFile = "file:///usr/local/spark-2.1.0/README.md" // Should be some file on your system
            val conf = new SparkConf().setAppName("Simple Application")
            val sc = new SparkContext(conf)
            val logData = sc.textFile(logFile, 2).cache()
            val numAs = logData.filter(line => line.contains("a")).count()
            val numBs = logData.filter(line => line.contains("b")).count()
            println("Lines with a: %s, Lines with b: %s".format(numAs, numBs))
        }
    }

该程序计算 /usr/local/spark-2.1.0/README 文件中包含 "a" 的行数 和包含 "b" 的行数。代码第8行的 /usr/local/spark 为 Spark 的安装目录,如果不是该目录请自行修改。不同于 Spark shell,独立应用程序需要通过 val sc = new SparkContext(conf) 初始化 SparkContext,SparkContext 的参数 SparkConf 包含了应用程序的信息。

三.使用Maven进行编译打包

1.该程序依赖Spark Java API,因此我们需要通过Maven进行编译打包。在./sparkapp3目录中新建文件pom.xml,命令如下:

cd usr/local/spark-2.1.0/mycode/sparkapp3
vim pom.xml

2.然后,在pom.xml文件中添加如下内容,用来声明该独立应用程序的信息以及与Spark-2.1.0的依赖关系:

<project>
    <groupId>cn.edu.xyafu</groupId>
    <artifactId>simple-project</artifactId>
    <modelVersion>4.0.0</modelVersion>
    <name>Simple Project</name>
    <packaging>jar</packaging>
    <version>1.0</version>
    <repositories>
        <repository>
            <id>jboss</id>
            <name>JBoss Repository</name>
            <url>http://repository.jboss.com/maven2/</url>
        </repository>
    </repositories>
    <dependencies>
        <dependency> <!-- Spark dependency -->
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.11</artifactId>
            <version>2.1.0</version>
        </dependency>
    </dependencies>

  <build>
    <sourceDirectory>src/main/scala</sourceDirectory>
    <plugins>
      <plugin>
        <groupId>org.scala-tools</groupId>
        <artifactId>maven-scala-plugin</artifactId>
        <executions>
          <execution>
            <goals>
              <goal>compile</goal>
            </goals>
          </execution>
        </executions>
        <configuration>
          <scalaVersion>2.11.8</scalaVersion>
          <args>
            <arg>-target:jvm-1.8</arg>
          </args>
        </configuration>
    </plugin>
    </plugins>
</build>
</project>

3.为了保证Maven能够正常运行,先执行如下命令检查整个应用程序的文件结构:

cd usr/local/spark-2.1.0/mycode/sparkapp3
find  .

4.文件结构应该是类似如下的内容:

5.接下来,我们可以通过如下代码将整个应用程序打包成JAR包(注意:计算机需要保持连接网络的状态,而且首次运行打包命令时,Maven会自动下载依赖包,需要消耗几分钟的时间):

cd usr/local/spark-2.1.0/mycode/sparkapp3   #一定把这个目录设置为当前目录
/usr/local/maven-3.9.6/bin/mvn  package

6.如果屏幕返回如下信息,则说明生成JAR包成功:

7.生成的应用程序JAR包的位置为“~/sparkapp3/target/simple-project-1.0.jar”。

四、通过 spark-submit 运行程序

1.我们就可以将生成的 jar 包通过 spark-submit 提交到 Spark 中运行了,命令如下:

/usr/local/spark-2.1.0/bin/spark-submit --class "SimpleApp" /usr/local/spark-2.1.0/mycode/sparkapp3/target/simple-project-1.0.jar
#上面命令执行后会输出太多信息,可以不使用上面命令,而使用下面命令查看想要的结果
/usr/local/spark-2.1.0/bin/spark-submit --class "SimpleApp" /usr/local/spark-2.1.0/mycode/sparkapp3/target/simple-project-1.0.jar 2>&1 | grep "Lines with a:"

2.最终得到的结果如下:

  • 4
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
以下是您可以使用独立应用程序代码,在Spark Shell中进行交互式开发: ```scala import org.apache.spark.sql.SparkSession object LocalFileCount { def main(args: Array[String]): Unit = { val spark = SparkSession.builder.appName("LocalFileCount").getOrCreate() val textFile = spark.sparkContext.textFile("file:///data/bigfiles/test.txt") val count = textFile.count() spark.sparkContext.parallelize(Seq(count)).saveAsTextFile("file:///root/maven_result.txt") spark.stop() } } ``` 在上述代码中,我们首先导入了`SparkSession`类,用于创建Spark应用程序的入口点。在`main()`函数中,我们使用`SparkSession.builder()`方法创建了一个`SparkSession`对象,并设置了应用程序的名称为`LocalFileCount`。 接下来,我们使用`spark.sparkContext.textFile()`方法读取本地文件`/data/bigfiles/test.txt`,并使用`count()`方法计算文件的行数。最后,我们使用`spark.sparkContext.parallelize()`方法将计数结果转换为RDD对象,并使用`saveAsTextFile()`方法将结果保存到本地文件系统中的`/root/maven_result.txt`文件中。 需要注意的是,您需要使用Maven工具将整个应用程序编译打包成JAR包。在完成打包后,您可以使用以下命令将生成的JAR包提交到Spark中运行: ``` spark-submit --class LocalFileCount your-jar-file.jar ``` 其中,`--class`参数指定了应用程序的入口类。您需要将`your-jar-file.jar`替换为您自己的JAR包文件名。运行后,计算结果将会保存到`/root/maven_result.txt`文件中。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

马龙强_

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值