spark-02 用scala写一个集群运行代码

最新推荐文章于 2020-11-29 13:55:59 发布

pub.ryan

最新推荐文章于 2020-11-29 13:55:59 发布

阅读量210

点赞数

分类专栏： Spark及源码

本文链接：https://blog.csdn.net/qq_36269641/article/details/109446885

版权

本文介绍了如何配置Maven避免在Spark集群环境中包含不必要的依赖，如spark-core和hadoop。接着，展示了如何编写Scala代码，并通过打包上传到Linux，然后在Spark的bin目录下使用`spark-submit`命令进行提交执行，指定了master节点、executor内存、CPU核心数以及执行入口和数据路径。

摘要由CSDN通过智能技术生成

1、配置maven

注意：提交到spark集群中执行时是不需要spark-core和hadoop、scala的依赖包的，如果生要打进去也可以，但jar包太大，没有必要，只要在依赖处将范围限定一下即可：

<dependency>
    <groupId>org.scala-lang</groupId>
    <artifactId>scala-library</artifactId>
    <version>${scala.version}</version>
    <!--打包时不要加进去-->
    <scope>provided</scope>
</dependency>
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2.12</artifactId>
    <version>${spark.version}</version>
    <!--打包时不要加进去-->
    <scope>provided</scope>
</dependency>

    <!--定义常量-->
    <properties>
        <maven.compiler.source>1.8</maven.compiler.source>
        <maven.compiler.target>1.8</maven.compiler.target>
        <scala.version>2.12.10</scala.version>
        <spark.version>3.0.1</spark.version>
        <hadoop.version>3.2.1</hadoop.version>
        <encoding>UTF-8</encoding>
    </properties>
    <dependencies>
        <dependency>
            <groupId>org.scala-lang</groupId>
            <artifactId>scala-library</artifactId>
            <version>${scala.version}</version>
            <!--打包时不要加进去-->