maven编译scala,依赖包打包到jar里

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>haha</groupId>
    <artifactId>test</artifactId>
    <version>1.0-SNAPSHOT</version>

    <dependencies>
        <dependency> <!-- Spark dependency -->
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.11</artifactId>
            <version>2.2.0</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/org.apache.spark/spark-mllib_2.10 -->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-mllib_2.11</artifactId>
            <version>2.2.0</version>
        </dependency>

        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>5.1.34</version>
        </dependency>
        <dependency>
            <groupId>test</groupId>
            <artifactId>test-dep</artifactId>
            <version>1.0-SNAPSHOT</version>
        </dependency>
    </dependencies>
    <build>
        <plugins>
            <!-- scala 打包插件 -->
            <plugin>
                <groupId>net.alchim31.maven</groupId>
                <artifactId>scala-maven-plugin</artifactId>
                <version>3.1.0</version>
                <executions>
                    <execution>
                        <goals>
                            <goal>compile</goal>
                            <goal>testCompile</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>

            <!-- 指定包打到jar里 -->
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-shade-plugin</artifactId>
                <version>2.4.3</version>
                <configuration>
                    <shadedArtifactAttached>false</shadedArtifactAttached>
                    <outputFile>${project.build.directory}/shaded/examples-${project.version}-shaded.jar</outputFile>
                    <artifactSet>
                        <includes>
                           <!-- <include>com/haha/test/**</include>-->
                            <include>groupId:artifactId</include>
                        </includes>
                    </artifactSet>
                </configuration>
                <executions>
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>shade</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>
</project>
<build>
     <plugins>
         <plugin>
             <artifactId>maven-assembly-plugin</artifactId>
             <version>3.1.0</version>
             <configuration>
                 <descriptorRefs>
                     <descriptorRef>jar-with-dependencies</descriptorRef>
                 </descriptorRefs>
                 <appendAssemblyId>false</appendAssemblyId> <!-- this is used for not append id to the jar name -->
             </configuration>
             <executions>
                 <execution>
                     <id>make-assembly</id> <!-- this is used for inheritance merges -->
                     <phase>package</phase> <!-- bind to the packaging phase -->
                     <goals>
                         <goal>single</goal>
                     </goals>
                 </execution>
             </executions>
         </plugin>
         <plugin>
             <groupId>org.apache.maven.plugins</groupId>
             <artifactId>maven-compiler-plugin</artifactId>
             <configuration>
                 <source>1.8</source>
                 <target>1.8</target>
             </configuration>
         </plugin>
     </plugins>
 </build>
  • 1
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: Spark开发环境搭建基于IDEA和Maven,可以按照以下步骤进行: 1. 安装Java JDK和Maven,并配置环境变量。 2. 下载并安装IDEA,打开IDEA,选择File -> New -> Project,选择Maven,输入项目名称和路径,点击Next。 3. 选择Maven的groupId、artifactId和version,点击Next。 4. 选择项目的存储位置和项目类型,点击Next。 5. 配置项目的依赖括Spark、Hadoop、Scala等,点击Finish。 6. 在IDEA创建Spark应用程序,编写代码,进行调试和运行。 Maven打包jar包的两种方式: 1. 使用Maven命令行打包:在项目根目录下执行命令“mvn package”,Maven会自动编译打包并生成jar包。 2. 在IDEA使用Maven插件打包:在IDEA打开Maven Projects面板,选择项目,右键选择“package”,Maven会自动编译打包并生成jar包。 ### 回答2: spark开发环境搭建(基于idea和maven) Spark是目前最流行的大数据处理框架之一,它可以在分布式环境下高效地处理海量数据。本文将介绍如何在IDEA和Maven的基础上搭建Spark开发环境。 1. 下载和安装Java SDK和Scala 首先需要从官网下载并安装Java SDK和Scala,这样才能正常使用Spark。 2. 下载和安装IDEA 然后下载,安装并启动IDEA(建议使用最新版本),准备创建一个新的Maven项目。 3. 创建Maven项目 在IDEA点击File -> New -> Project,在创建项目的窗口选择Maven,然后填写项目名称、GroupId、ArtifactId等信息,创建一个Maven项目。 4. 引入Spark依赖Maven的pom.xml文件引入Spark的依赖: ```xml <dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <version>2.4.5</version> </dependency> </dependencies> ``` 这选择了Spark Core的依赖,如果需要使用其他的Spark组件,在引入依赖时也需要添加相应的组件。 5. 测试代码的编写 在src/main/scala目录下新建一个Scala文件,编写测试代码并运行,如果没有报错,证明环境搭建成功。 Maven打包jar包的两种方式 在完成了Spark开发任务后,需要将代码打包jar包以便于在集群上运行。下面介绍两种方式来将Maven项目打包jar包。 1. 通过Maven命令行打包Maven的根目录下打开命令行,使用以下命令进行打包: ``` mvn package ``` 执行完上述命令后,在target目录下会生成一个jar包,可以将这个jar包上传到集群上进行运行。 2. 在IDEA进行打包 在IDEA,可以直接使用Maven插件打包,步骤如下: Step 1: 打开Maven Projects界面,在Lifecycle,双击package. Step 2: 等待成功之后,就会在target目录下生成jar包。 使用这种方式打包会更加方便,因为可以直接在开发环境打包并运行测试。但是,在实际部署时还是需要将jar包上传到集群上运行。 ### 回答3: 随着大数据技术的发展,越来越多的企业开始采用Spark进行数据分析和处理。在使用Spark进行开发工作前,首先需要进行开发环境的搭建。本文将介绍如何在IDEA和Maven的基础上搭建Spark开发环境,并探讨Maven打包jar包的两种方式。 一、Spark开发环境搭建 1. 安装Java和Scala 首先需要安装Java和Scala。目前最新的Java版本为Java 8,而Spark最好使用Scala语言进行开发。我们可以下载Java和Scala,也可以使用brew直接进行安装。 2. 下载安装IDEA IDEA是一个Java语言开发的集成开发环境。我们可以到官方网站下载安装。 3. 下载安装Spark 通过Spark的官方网站下载安装Spark。 4. 配置环境变量 将Spark的bin目录和Java的bin目录添加到PATH环境变量。 5. 使用IDEA创建Spark项目 在IDEA创建一个Maven项目,并指定Spark相关的依赖。 6. 运行Spark应用 通过IDEA的运行配置,可以轻松地启动Spark应用程序。 二、Maven打包jar包的两种方式 在开发过程,我们通常需要打包jar包进行部署。下面介绍Maven打包jar包的两种方式。 1. 常规方式 通过Maven的命令行界面,可以轻松地通过命令进行打包打包命令如下: mvn package 2. 通过插件方式打包 通过Maven插件的方式还可以进行打包打包命令如下: mvn clean compile assembly:single 通过以上方法,我们可以轻松地搭建好Spark开发环境,并使用Maven进行打包,便于部署应用程序。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值