maven,最强大的功能就是自动包依赖管理。包的引用依赖是复杂的、层次的、网状的,人工进行打包会耗费大量精力,这也是maven所专注解决的事情,让包管理变得easy。
我一直对打包有明确的需求,却不会使用maven来实现这些清晰的任务点:环境上没有的包,在编译打包时要一起打入jar包;环境上已经有的包,在编译打包时,忽略。
原因很简单,程序需要找到所有的依赖的jar包才能运行,否则会运行错误,此处,有些包在部署环境时就已经存在有系统之中,如Spark相应jar包,在集群安装Spark时,就会将相应的jar包加入CLASSPATH,这样程序运行时就能“找到”这些包,而无需我们提供,但是,有些包并不是整个系统需要的基本包,而是我们完成特定任务时所需要的,这种jar包,一般有两种方式进行处理。
方式一:以linux为例,我们需要在项目根目录下创建lib文件夹,把所有用到的jar包拷贝进去,之后使用export LD_LIBRARY_PATH=${user_define_lib}:$LD_LIBRARY_PATH
命令,将这些jar包变得“可以被找到”,程序即可顺利进行,当然这种方式需要对使用的jar包有全面的了解,不能漏掉任何一个依赖的包,且执行后只对当前shell有效,重新登陆后需要重新执行命令才能生效,也可以加入/etc/profile似的命令永久生效。
方式二:使用maven进行管理,这种方式部分功能与上述方式重合,即在真实项目部署中,一般会有lib文件夹包含项目所需的全部包,而使用maven进行包依赖管理,即层次结构的梳理,比如区分定位两个名字相同但属于不同jar包的类。但我有一个需求,就是将所有环境上没有,但是项目依赖的jar包全部打入一个jar包中,这样简单明了,易于拷贝和运行。(当然,这样的项目是小项目,依赖的jar包不会很大,总大小在100M以下)
有需求,就有实现的办法,下面就针对这种方式做一些讲解。
1.理解maven中的scope 【转】
依赖范围控制哪些依赖在哪些classpath 中可用,哪些依赖包含在一个应用中。让我们详细看一下每一种范围:
compile (编译范围)
compile是默认的范围;如果没有提供一个范围,那该依赖的范围就是编译范围。编译范围依赖在所有的classpath 中可用,同时它们也会被打包。
provided (已提供范围)
provided 依赖只有在当JDK 或者一个容器已提供该依赖之后才使用。例如, 如果你开发了一个web 应用,你可能在编译 classpath 中需要可用的Servlet API 来编译一个servlet,但是你不会想要在打包好的WAR 中包含这个Servlet API;这个Servlet API JAR 由你的应用服务器或者servlet 容器提供。已提供范围的依赖在编译classpath (不是运行时)可用。它们不是传递性的,也不会被打包。
runtime (运行时范围)
runtime 依赖在运行和测试系统的时候需要,但在编译的时候不需要。比如,你可能在编译的时候只需要JDBC API JAR,而只有在运行的时候才需要JDBC驱动实现。
test (测试范围)
test范围依赖 在一般的编译和运行时都不需要,它们只有在测试编译和测试运行阶段可用。
system (系统范围)
system范围依赖与provided 类似,但是你必须显式的提供一个对于本地系统中JAR 文件的路径。这么做是为了允许基于本地对象编译,而这些对象是系统类库的一部分。这样的构件应该是一直可用的,Maven 也不会在仓库中去寻找它。如果你将一个依赖范围设置成系统范围,你必须同时提供一个 systemPath 元素。注意该范围是不推荐使用的(你应该一直尽量去从公共或定制的 Maven 仓库中引用依赖)。
其实上述范围只要理解两个关键点就行,如果需要一起打入jar包,用compile,如果不需要(环境上已有),用provided,只要记住这最重要的2个范围即可。
2.maven的plugin
其实都是在xml配置上做文章,并没有什么难度,会复制粘贴修修改改即可。plugin就是maven编译打包时使用的插件。下面是几个插件的例子:
源码中有scala文件,需要打包,需要配置scala相关插件
<plugin>
<groupId>org.scala-tools</groupId>
<artifactId>maven-scala-plugin</artifactId>
<version>2.15.2</version>
<executions>
<execution>
<goals>
<goal>compile</goal>
<goal>testCompile</goal>
</goals>
<configuration>
<args>
<arg>-dependencyfile</arg>
<arg>${project.build.directory}/.scala_dependencies</arg>
</args>
</configuration>
</execution>
</executions>
</plugin>
maven单元测试阶段使用插件
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-surefire-plugin</artifactId>
<version>2.10</version>
<configuration>
<useFile>false</useFile>
<disableXmlReport>true</disableXmlReport>
<!-- If you have classpath issue like NoDefClassError,... -->
<!-- useManifestOnlyJar>false</useManifestOnlyJar -->
<includes>
<include>**/*Test.*</include>
<include>**/*Suite.*</include>
</includes>
</configuration>
</plugin>
maven想实现将依赖jar包打入一个包内,官方描述是下面这样的(英文描述非常精准)。就需要用到maven-assembly-plugin。
The Assembly Plugin for Maven is primarily intended to allow users to aggregate the project output along with its dependencies, modules, site documentation, and other files into a single distributable archive.
配置如下:
<plugin>
<artifactId>maven-assembly-plugin</artifactId>
<configuration>
<descriptorRefs>
<descriptorRef>jar-with-dependencies</descriptorRef>
</descriptorRefs>
<archive>
<manifest>
<mainClass>com.yuanye.WordCount</mainClass>
</manifest>
</archive>
</configuration>
<executions>
<execution>
<id>make-assembly</id>
<phase>package</phase>
<goals>
<goal>single</goal>
</goals>
</execution>
</executions>
</plugin>
来举个实际例子,我们需要依赖spark和hbase的jar包,但是hbase已有,spark的环境上没有,我们需要将spark的jar包打入一个jar包里,配置文件部分如下:
<dependencies>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.10</artifactId>
<version>1.5.1</version>
<scope>compile</scope>
</dependency>
<dependency>
<groupId>org.apache.hbase</groupId>
<artifactId>hbase-client</artifactId>
<version>1.1.0</version>
<scope>provided</scope>
</dependency>
</dependencies>
只要理解了scope和plugin的基本概念,遇到问题再琢磨琢磨,就可以解决我们遇到的大部分问题,maven,很简单,一点都不难,是不是?