【Spark】七、提交jar包执行任务

• scala和spark-core无需打包

<!-- 编译环境能用，运行环境不可用 -->
<scope>provided</scope>

• spark-wordcount的pom.xml文件中添加打包插件【每个插件都有自己的文档，具体配置看文档】

    <!--配置构建信息-->
    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-assembly-plugin</artifactId>
                <configuration>
                    <archive>
                        <manifest>
                            <mainClass>edu.lsy.wordcount.WordCount</mainClass>
                        </manifest>
                    </archive>
                    <descriptorRefs>
                        <descriptorRef>jar-with-dependencies</descriptorRef>
                    </descriptorRefs>
                </configuration>
            </plugin>
        </plugins>
    </build>

注意：该pom.xml文件中没有声明assembly插件版本，是因为在父项目中的pom.xml文件中声明完毕

• spark中的pom.xml文件

        <!--仅声明构建的插件-->
        <pluginManagement>
            <plugins>
                <plugin>
                    <groupId>org.apache.maven.plugins</groupId>
                    <artifactId>maven-assembly-plugin</artifactId>
                    <version>3.0.0</version>
                    <executions>
                        <execution>
                            <id>make-assembly</id>
                            <phase>package</phase>
                            <goals>
                                <goal>single</goal>
                            </goals>
                        </execution>
                    </executions>
                </plugin>
            </plugins>
        </pluginManagement>

• 双击package进行打包【双击clean清楚已打的包】

• 打好的jar包

• 上传jar包到集群

• 提交jar包执行任务

1. 进入到spark安装目录
2. 通过spark-submit提交jar包
3. class是打包时的mainClass，master在IDEA编码时已设置，jar包即上传所在位置

[lsy@master01 spark-2.1.1-bin-hadoop2.7]$ bin/spark-submit --class edu.lsy.wordcount.WordCount /opt/file/spark-wordcount-1.0-SNAPSHOT-jar-with-dependencies.jar