大数据开发从小白到大神(五)——Maven搭建本地仓库

本文介绍了如何使用Maven避免频繁下载大数据组件源码,如Hadoop,Zookeeper,Hive等。通过在本地安装Maven并配置,可以自动从远程仓库下载源码到本地,简化开发环境搭建过程。
摘要由CSDN通过智能技术生成

上一节中我们说到了用eclipse搭建Hadoop的开发环境,但是那是在本地已有hadoop源码的基础上搭建的,如果我们没有hadoop的源码,或者我们今后还要搭建zookeeper,hive等环境,是不是每一个都需要去下载源码呢?答案是否定的,我们只需要在本地安装一个项目管理工具,并且告诉它我们需要什么东西,它就能自动的从远程仓库中下载源码到本地以供我们使用。这个东西就是Maven。

通过上面的介绍大家应该基本上清楚Maven是个什么东东了,还有它能帮我们做什么,所以闲话少说,我们直接开始吧。

  • 下载Maven工具
我的maven的版本是3.3.9,大家也可以根据自己的需求来下载各自的版本,给出一个下载的地址
http://mirror.bit.edu.cn/apache/maven/maven-3/3.3.9/binaries/
由于接下来我们都是在windows系统操作,因此我们下载.zip版本的,Linux系统上的可以下载tar包
  • 配置环境变量
在配置环境变量之前要提醒大家一下,Maven是依赖于java的,所以在使用Maven之前一定要确定自己jdk以及jdk的环境变量
已经配置好。
打开系统的环境,配置下图的环境变量。我的maven是放在D:\java\apache-maven-3.3.9
然后在path中加入%M2_HOME%\bin,用“;”与其他的环境变量区分。
之后我们可以验证一下自己的maven是否已经安装好了。命令行输入mvn -version,出现下图表示安装成功。
  • 对maven进行配置
环境变量设置好后,我们还需要对maven进行相关的配置。最主要的配置是两个,这两个配置都需要在{M2_HOME}/conf/settings.xml中进行修改。 一个是告诉maven从哪里下载我们需要的源码,如果不配置,maven默认是从http://org.apache.maven中下载镜像,但是这样会比较慢,一般我们都要配置中国的镜像源,这样下载起来比较快。犹豫oschina已经关闭了,因此大家现在普遍使用阿里的镜像源。
	<!-- 阿里云仓库 -->
    <mirror>
	   <id>alimaven</id>
	   <mirrorOf>central</mirrorOf>
	   <name>aliyun maven</name>
		<url>http://maven.aliyun.com/nexus/content/repositories/central/</url>
	 </mirror>

    <!-- 中央仓库1 -->
	<mirror>
		<id>repo1</id>
		<mirrorOf>central</mirrorOf>
		<name>Human Readable Name for this Mirror.</name>
		<url>http://repo1.maven.org/maven2/</url>
	 </mirror>
	<!-- 中央仓库2 -->
	<mirror>
	   <id>repo2</id>
	   <mirrorOf>central</mirrorOf>
		<name>Human Readable Name for this Mirror.</name>
	   <url>http://repo2.maven.org/maven2/</url>
	</mirror>
把上面的代码放在<mirrors></mirrors>标签中就可以了。
另一个需要配置的是本地的镜像仓库,就是从远程下载下来的源码放在哪里,默认是放在$user.name/.m2/repository/下面,当然你也可以通过增加一个标签来修改本地仓库存放的地址。
<localRepository>D:\mavenRepository\</localRepository>
这里只做一些演示,我并没有修改这个地址,还是使用的是默认地址。
  • 使用maven搭建本地的hadoop仓库
开发eclipse之后我们需要对maven进行一些配置。Window -> Preferences ->Maven -> User Settings
安装上图把自己的settings.xml导入即可。这里有两个设置,一个是Global settings,一个是User Settings,它有点类似全局
变量与局部变量的概念,一个是对所有项目有效,一个是对单个项目有效,当出现冲突时,局部会覆盖全局。然后我们点击update
settings进行更新。
在eclipse中已经集成了maven的插件,所以我们可以直接使用。
File -> Project -> Maven Project -> next


接下来我们选择勾选Use default workspace location,其他的不勾选,选择next。之后选择默认的1.1版本,next。
根据自己的需要填入相关的内容,这里不多说groupId,Artifact Id等是什么意思,它其实是表示一种目录的结构。
然后点finish,开始等待Maven去下载一共工程
完成上面的步骤后,我们现在就可以搭建hadoop项目了,双击目录下的pom.xml,这个文件恨关键,它是用来指定我们需要的
依赖,
打开后,我们选择pom.xml选项卡
在这里我们可以写入自己的依赖,
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
	xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
	<modelVersion>4.0.0</modelVersion>

	<groupId>com.wilson</groupId>
	<artifactId>myhadoop</artifactId>
	<version>0.0.1-SNAPSHOT</version>
	<packaging>jar</packaging>

	<name>myhadoop</name>
	<url>http://maven.apache.org</url>

	<properties>
		<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
	</properties>

	<dependencies>
		<dependency>
			<groupId>junit</groupId>
			<artifactId>junit</artifactId>
			<version>3.8.1</version>
			<scope>test</scope>
		</dependency>
		<dependency>
			<groupId>org.apache.hadoop</groupId>
			<artifactId>hadoop-client</artifactId>
			<version>2.7.2</version>
		</dependency>
		<dependency>
			<groupId>jdk.tools</groupId>
			<artifactId>jdk.tools</artifactId>
			<version>1.7</version>
			<scope>system</scope>
			<systemPath>${JAVA_HOME}/lib/tools.jar</systemPath>
		</dependency>
	</dependencies>
</project>
我这里只写入了hadoop-client,因为它会依赖其他的文件,因此对于hadoop项目,我们只写入这一个依赖就可以了。
输入上面的依赖后,maven就会自动到我们指定的阿里云上下载我们需要的依赖包,并且把下载好的包存放在我们本地的仓库
中。
下载完成后可能会需要各种问题,我就遇到一个问题是Missing artifact asm:asm:jar:3.1,这个问题是因为有一个依赖包没有下
载好。我们需要找到这个没有下载好的依赖包,在本地的仓库中删除它,它在$user.name/.m2/repository/asm/asm/3.1下,是一个以
.lastupdated结尾的文件,把它删除后。到eclipse中,找到我们的项目myhadoop,然后左键项目名,点右键->Maven->update project
这样eclipse就会重新下载这个包,再次下载好后,我们就可以进行开发了,此时和上一篇文章中提到的把源码放入classpath中的
情况就一样了。
好了,以上就是今天的全部内容
与您共勉。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值