win8下用Maven构建hadoop环境编写MapReduce程序

最新推荐文章于 2022-11-22 11:04:13 发布
最新推荐文章于 2022-11-22 11:04:13 发布
阅读量3.1k 收藏 1
点赞数
分类专栏： 复杂网络-社区发现 文章标签： hadoop集群 mapreduce win8 eclipse maven
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cleverlzc/article/details/40400431
版权
1 . 用Maven创建一个标准化的Java项目 
D:\workspace\java>mvn archetype:generate -DarchetypeGroupId=org.apache.maven.archetypes -DgroupId=siat.hadoop -DartifactId=TestHadoop -DpackageName=siat.hadoop -Dversion=1.0-SNAPSHOT -DinteractiveMode=false
 
 
[INFO] Scanning for projects...
 
 
[INFO]
 
 
[INFO] ------------------------------------------------------------------------
 
 
[INFO] Building Maven Stub Project (No POM) 1
 
 
[INFO] ------------------------------------------------------------------------
 
 
[INFO]
 
 
[INFO] >>> maven-archetype-plugin:2.2:generate (default-cli) > generate-sources
 
 
@ standalone-pom >>>
 
 
[INFO]
 
 
[INFO] <<< maven-archetype-plugin:2.2:generate (default-cli) < generate-sources
 
 
@ standalone-pom <<<</pre>
 
 
 
  
解释一下，-DgroupId=siat.hadoop -DartifactId=TestHadoop -DpackageName=siat.hadoop这些参数指定好之后会自动创建，不需要手动创建
 
 
 
 
 
  
  
 
 
 
 
  如果以上能顺利执行，跳过这里，直接看第2步！一般都能很快的顺利通过，如果出现exception，则按照以下配置（注：出现这种情况最好重新执行上面命令，不然后面可能出现不好解决的问题） 
 
 
 

   Choose a number or apply filter (format: [groupId:]artifactId, case sensitive co 
  

    ntains): 493: 1（ 
   注：若后面有hint：enter or space is。。。直接按回车或者空格键） 
  
 
  

    Choose am.ik.archetype:spring-boot-blank-archetype version: 
  
 
  

    1: 0.9.0 
  
 
  

    2: 0.9.1 
  
 
  

    3: 0.9.2 
  
 
  

    Choose a number: 3: 3（ 
   选择一个version id输入） 
  
 
  

    Downloading: https://repo.maven.apache.org/maven2/am/ik/archetype/spring-boot-bl 
  
 
  

    ank-archetype/0.9.2/spring-boot-blank-archetype-0.9.2.jar 
  
 
  

    Downloaded: https://repo.maven.apache.org/maven2/am/ik/archetype/spring-boot-bla 
  
 
  

    nk-archetype/0.9.2/spring-boot-blank-archetype-0.9.2.jar (6 KB at 3.5 KB/sec) 
  
 
  

    Downloading: https://repo.maven.apache.org/maven2/am/ik/archetype/spring-boot-bl 
  
 
  

    ank-archetype/0.9.2/spring-boot-blank-archetype-0.9.2.pom 
  
 
  

    Downloaded: https://repo.maven.apache.org/maven2/am/ik/archetype/spring-boot-bla 
  
 
  

    nk-archetype/0.9.2/spring-boot-blank-archetype-0.9.2.pom (3 KB at 5.7 KB/sec) 
  
 
  

    [INFO] Using property: groupId = org.conan.myhadoop.mr 
  
 
  

    Define value for property 'artifactId': : myHadoop（ 
   根据需要输入） 
  
 
  

    Define value for property 'version':  1.0-SNAPSHOT: : 1.0-SNAPSHOT（ 
   照着前面输入即可） 
  
 
  

    [INFO] Using property: package = org.conan.myhadoop.mr 
  
 
  

    Confirm properties configuration: 
  
 
  

    groupId: org.conan.myhadoop.mr 
  
 
  

    artifactId: myHadoop 
  
 
  

    version: 1.0-SNAPSHOT 
  
 
  

    package: org.conan.myhadoop.mr 
  
 
  

     Y: : Y（ 
   如果正确，输入Y） 
  
 
  

    [INFO] ------------------------------------------------------------------------- 
  
 
  

    --- 
  
 
  

    [INFO] Using following parameters for creating project from Archetype: spring-bo 
  
 
  

    ot-blank-archetype:0.9.2 
  
 
  

    [INFO] ------------------------------------------------------------------------- 
  
 
  

    --- 
  
 
  

    [INFO] Parameter: groupId, Value: org.conan.myhadoop.mr 
  
 
  

    [INFO] Parameter: artifactId, Value: myHadoop 
  
 
  

    [INFO] Parameter: version, Value: 1.0-SNAPSHOT 
  
 
  

    [INFO] Parameter: package, Value: org.conan.myhadoop.mr 
  
 
  

    [INFO] Parameter: packageInPathFormat, Value: org/conan/myhadoop/mr 
  
 
  

    [INFO] Parameter: version, Value: 1.0-SNAPSHOT 
  
 
  

    [INFO] Parameter: package, Value: org.conan.myhadoop.mr 
  
 
  

    [INFO] Parameter: groupId, Value: org.conan.myhadoop.mr 
  
 
  

    [INFO] Parameter: artifactId, Value: myHadoop 
  
 
  

    [WARNING] The directory D:\workspace\java\myHadoop already exists. 
  
 
  

    [INFO] project created from Archetype in dir: D:\workspace\java\myHadoop 
  
 
  

    [INFO] ------------------------------------------------------------------------ 
  
 
  

    [INFO] BUILD SUCCESS 
  
 
  

    [INFO] ------------------------------------------------------------------------ 
  
 
  

    [INFO] Total time: 12:05 min 
  
 
  

    [INFO] Finished at: 2014-10-23T14:23:02+08:00 
  
 
  

    [INFO] Final Memory: 10M/26M 
  
 
  

    [INFO] ------------------------------------------------------------------------ 
  
 
  

    D:\workspace\java> 
  
 
  
 
   
 
  
 
  
 
   2 
   . 进入项目，执行mvn clean install 命令（可以先mvn clean，再mvn install） 
  
 
  
 
   
  
  
 
  
 
   
~ D:\workspace\java>cd TestHadoop
 
   
 ~ D:\workspace\java\TestHadoop>mvn clean install
 
   
。。。
 
   
 
   
 
    [INFO] Installing D:\workspace\java\TestHadoop\target\TestHadoop-1.0-SNAPSHOT.j 
   
 
   

     r to C:\Users\michael\.m2\repository\siat\hadoop\TestHadoop\1.0-SNAPSHOT\TestHa 
   
 
   

     oop-1.0-SNAPSHOT.jar 
   
 
   

     [INFO] Installing D:\workspace\java\TestHadoop\pom.xml to C:\Users\michael\.m2\ 
   
 
   

     epository\siat\hadoop\TestHadoop\1.0-SNAPSHOT\TestHadoop-1.0-SNAPSHOT.pom 
   
 
   

     [INFO] ------------------------------------------------------------------------ 
   
 
   
 
    [INFO]  
    BUILD SUCCESS 
   
 
   

     [INFO] ------------------------------------------------------------------------ 
   
 
   

     [INFO] Total time: 25.122 s 
   
 
   

     [INFO] Finished at: 2014-10-23T15:50:55+08:00 
   
 
   

     [INFO] Final Memory: 11M/28M 
   
 
   

     [INFO] ------------------------------------------------------------------------ 
   
 
   

     D:\workspace\java\TestHadoop> 
   
 
  
 
  
 
   
 
  
 
 
 
 
[INFO]
 
 
[INFO] --- maven-archetype-plugin:2.2:generate (default-cli) @ standalone-pom --
 
 
-
 
 
[INFO] Generating project in Batch mode
 
 
[INFO] No archetype defined. Using maven-archetype-quickstart (org.apache.maven.
 
 
archetypes:maven-archetype-quickstart:1.0)
 
 
Downloading: https://repo.maven.apache.org/maven2/org/apache/maven/archetypes/ma
 
 
ven-archetype-quickstart/1.0/maven-archetype-quickstart-1.0.jar
 
 
Downloaded: https://repo.maven.apache.org/maven2/org/apache/maven/archetypes/mav
 
 
en-archetype-quickstart/1.0/maven-archetype-quickstart-1.0.jar (5 KB at 2.6 KB/s
 
 
ec)
 
 
Downloading: https://repo.maven.apache.org/maven2/org/apache/maven/archetypes/ma
 
 
ven-archetype-quickstart/1.0/maven-archetype-quickstart-1.0.pom
 
 
Downloaded: https://repo.maven.apache.org/maven2/org/apache/maven/archetypes/mav
 
 
en-archetype-quickstart/1.0/maven-archetype-quickstart-1.0.pom (703 B at 1.5 KB/
 
 
sec)
 
 
[INFO] -------------------------------------------------------------------------
 
 
---
 
 
[INFO] Using following parameters for creating project from Old (1.x) Archetype:
 
 
 maven-archetype-quickstart:1.0
 
 
[INFO] -------------------------------------------------------------------------
 
 
---
 
 
[INFO] Parameter: groupId, Value: siat.hadoop
 
 
[INFO] Parameter: packageName, Value: siat.hadoop
 
 
[INFO] Parameter: package, Value: siat.hadoop
 
 
[INFO] Parameter: artifactId, Value: TestHadoop
 
 
[INFO] Parameter: basedir, Value: D:\workspace\java
 
 
[INFO] Parameter: version, Value: 1.0-SNAPSHOT
 
 
[INFO] project created from Old (1.x) Archetype in dir: D:\workspace\java\TestHa
 
 
doop
 
 
[INFO] ------------------------------------------------------------------------
 
 
[INFO] BUILD SUCCESS
 
 
[INFO] ------------------------------------------------------------------------
 
 
[INFO] Total time: 11.390 s
 
 
[INFO] Finished at: 2014-10-23T15:45:02+08:00
 
 
[INFO] Final Memory: 11M/27M
 
 
[INFO] ------------------------------------------------------------------------
 
 
D:\workspace\java>
 

 

 
 
 

 

 
 
 

 

 
 
 

 

 
 以下错误是在第1步不能顺利执行的时候才会出现的问题，试了网上提供的很多方法，也未能解决。出现这个问题，还是从第1步开始吧！so,第1步顺利执行是保证这一步不出问题的基础。 

 


  [ERROR] Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3. 

 

 
 

   1:compile (default-compile) on project myHadoop: Fatal error compiling: 无效的目 
 
 
 

   标发行版: 1.8 -> [Help 1] 
 
 
 

   [ERROR] 
 
 
 

   [ERROR] To see the full stack trace of the errors, re-run Maven with the -e swit 
 
 
 

   ch. 
 
 
 

   [ERROR] Re-run Maven using the -X switch to enable full debug logging. 
 
 
 

   [ERROR] 
 
 
 

   [ERROR] For more information about the errors and possible solutions, please rea 
 
 
 

   d the following articles: 
 
 
 

   [ERROR] [Help 1] http://cwiki.apache.org/confluence/display/MAVEN/MojoExecutionE 
 
 
 

   xception 
 
 
 

   D:\workspace\java\myHadoop> 
 
 

 

 
 
 

 

 
 
 

 

 
 pom.xml文件： 

 

 
 
 
  
 
   

      <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" 
   
 
   

       xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd"> 
   
 
   

       <modelVersion>4.0.0</modelVersion> 
   
 
   

       <groupId>siat.hadoop</groupId> 
   
 
   

       <artifactId>TestHadoop</artifactId> 
   
 
   

       <packaging>jar</packaging> 
   
 
   

       <version>1.0-SNAPSHOT</version> 
   
 
   

       <name>TestHadoop</name> 
   
 
   

       <url>http://maven.apache.org</url> 
   
 
   

        
   
 
   

        
   
 
   

        
   
 
   

       <dependencies> 
   
 
   
 
    
 
   
 
   

       <dependency> 
   
 
   

         <groupId>org.apache.hadoop</groupId> 
   
 
   

         <artifactId>hadoop-core</artifactId> 
   
 
   

         <version>1.2.1</version> 
   
 
   

       </dependency> 
   
 
   
 
    
 
   
 
   

         <dependency> 
   
 
   

           <groupId>junit</groupId> 
   
 
   

           <artifactId>junit</artifactId> 
   
 
   

           <version>3.8.1</version> 
   
 
   

           <scope>test</scope> 
   
 
   

         </dependency> 
   
 
   

       </dependencies> 
   
 
   

     </project> 
   
 
  
 
  
 
   
 
  
 
  

      
  
 
 
 
 
 
  
 
 
 
 

     
 
 

 

 
 
 3. 导入项目到eclipse
 
 
 File-->Import-->Maven-->Exsiting Maven Projects(不要选General导入，有可能会识别不了maven项目)
 
 
 4. 增加hadoop依赖
 
 
 这里我使用hadoop-1.2.1版本，修改文件：pom.xml（修改D:\workspace\java\TestHadoop下的文件，eclipse中会自动同步）
 
 
 
 
 
  <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
 
 
  xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">
 
 
  <modelVersion>4.0.0</modelVersion>
 
 
  <groupId>siat.hadoop</groupId>
 
 
  <artifactId>TestHadoop</artifactId>
 
 
  <packaging>jar</packaging>
 
 
  <version>1.0-SNAPSHOT</version>
 
 
  <name>TestHadoop</name>
 
 
  <url>http://maven.apache.org</url>
 
 
  
 
 
  
 
 
  
 
 
  <dependencies>
 
 

 
 
 
  <dependency>
 
 
    <groupId>org.apache.hadoop</groupId>
 
 
    <artifactId>hadoop-core</artifactId>
 
 
    <version>1.2.1</version>
 
 
  </dependency>
 
 

 
 
 
    <dependency>
 
 
      <groupId>junit</groupId>
 
 
      <artifactId>junit</artifactId>
 
 
      <version>3.8.1</version>
 
 
      <scope>test</scope>
 
 
    </dependency>
 
 
  </dependencies>
 
 
</project>
 
 
 
  
 
 
 
 
   
 
 
 
 
 
 
 
 
 
  
 5. 下载依赖
 
  
~ mvn clean install                 (和第2步一样)
 
 
 
 
 
  
 
   Tests run: 1, Failures: 0, Errors: 0, Skipped: 0 
  
 
  
 
   
  
  
 
  
 
   [INFO] 
  
 
  
 
   [INFO] --- maven-jar-plugin:2.4:jar (default-jar) @ TestHadoop --- 
  
 
  
 
   [INFO] Building jar: D:\workspace\java\TestHadoop\target\TestHadoop-1.0-SNAPSHO 
  
 
  
 
   .jar 
  
 
  
 
   [INFO] 
  
 
  
 
   [INFO] --- maven-install-plugin:2.4:install (default-install) @ TestHadoop --- 
  
 
  
 
   [INFO] Installing D:\workspace\java\TestHadoop\target\TestHadoop-1.0-SNAPSHOT.j 
  
 
  
 
   r to C:\Users\michael\.m2\repository\siat\hadoop\TestHadoop\1.0-SNAPSHOT\TestHa 
  
 
  
 
   oop-1.0-SNAPSHOT.jar 
  
 
  
 
   [INFO] Installing D:\workspace\java\TestHadoop\pom.xml to C:\Users\michael\.m2\ 
  
 
  
 
   epository\siat\hadoop\TestHadoop\1.0-SNAPSHOT\TestHadoop-1.0-SNAPSHOT.pom 
  
 
  
 
   [INFO] ------------------------------------------------------------------------ 
  
 
  
 
   [INFO] BUILD SUCCESS 
  
 
  
 
   [INFO] ------------------------------------------------------------------------ 
  
 
  
 
   [INFO] Total time: 3.181 s 
  
 
  
 
   [INFO] Finished at: 2014-10-23T16:25:31+08:00 
  
 
  
 
   [INFO] Final Memory: 14M/35M 
  
 
  
 
   [INFO] ------------------------------------------------------------------------ 
  
 
  
 
   D:\workspace\java\TestHadoop> 
  
 
 
 
 
在eclipse中刷新项目：看到Maven Denpendencies中已经成功加载了hadoop-core-1.2.1.jar等其他依赖包。项目的依赖程序，被自动加载的库路径下面。
 
 
 6. 从Hadoop集群环境下载hadoop配置文件（我没有建集群，只部署了一台hadoop的master服务器）
 
 
 
  
  •  core-site.xml
  •  hdfs-site.xml
  •  mapred-site.xml
 
 
 
 
保存在src/main/resources/hadoop目录下面
 
 
 7.配置本地host，增加master的域名指向
 
 
 c:/Windows/System32/drivers/etc/hosts 
 
 
172.21.5.235 master（集群中的主服务器，即NameNode）
 
 
这里我用laptop部署好了hadoop的环境，当作服务器，6个进程全部启动，laptop和台式机都连在了一个路由器上，即一个局域网内。
 
 
8. MapReduce程序开发
 
 
 编写一个简单的MapReduce程序，实现wordcount功能。
 
 
 新建一个Java文件：WordCount.java
 
 
 。。。
 
 
 。。。（win下需要重新编译hadoop的jar包，具体参考下面网站）
 
 
9. 说明
 
 
 这样，我们就实现了在win7/win8中的开发，通过Maven构建Hadoop依赖环境，在Eclipse中开发MapReduce的程序，然后运行JavaAPP。Hadoop应用会自动把我们的MR程序打成jar包，再上传的远程的hadoop环境中运行，返回日志在Eclipse控制台输出。
 
 
 
 
 
 
参考：http://blog.fens.me/hadoop-maven-eclipse/
 
 
 
 
 
 
 
 
 


                

        

        

    

  


    

      

        

            

              
                
                  进击的魔法师
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          









                



	

		

			

				
					
hadoop2.7创建maven实例

				
			

			

				

					kingxuexi的博客
				

				

					02-17
					
					4063
					
				

			

		

		

			
				
1.安装maven与eclipse配置
2.创建一个简单的maven项目
3.pom设置，添加dependencies
 
        
            org.apache.hadoop
            hadoop-common
            2.7.3
        
        
            org.apache.hadoop
    

			
		

	



                

              
                



	

		

			

				
					
idea打包hadoop的mapreduce程序，使用maven的方式

				
			

			

				

					weixin_42192477的博客
				

				

					10-11
					
					4495
					
				

			

		

		

			
				
前提：这个例子是mapreduce的基本流程，需要已经搭建好的hadoop环境，至于hadoop，hdfs，mr的关系呢，看书吧。大概流程是这样的，hadoop环境搭建好以后，自己创建两个文件，通过hadoop命令将文件扔到hdfs里面。通过写代码通常java书写mapreduce程序，就可以对hdfs里面的文件进行相关操作，比如统计。下面的步骤主要是idea打包mr程序。

1 idea创建ma...

			
		

	



                


  
              

                


	

		

			

				
					
Hadoop学习初步：Maven构建Hadoop项目

				
			

			

				

					ACMiao的博客
				

				

					08-19
					
					1253
					
				

			

		

		

			
				
转自：http://blog.fens.me/hadoop-maven-eclipse/







前言
Hadoop的MapReduce环境是一个复杂的编程环境，所以我们要尽可能地简化构建MapReduce项目的过程。Maven是一个很不错的自动化项目构建工具，通过Maven来帮助我们从复杂的环境配置中解脱出来，从而标准化开发过程。所以，写MapReduce之前，让我们先花

			
		

	





	

		

			

				
					
maven构建hadoop项目

				
			

			

				

					钱佳佳的博客
				

				

					01-10
					
					459
					
				

			

		

		

			
				
详细请点击链接http://blog.fens.me/hadoop-maven-eclipse/

			
		

	



		

			
		



	

		

			

				
					
Hadoop学习笔记--IDEA创建Maven项目

					
最新发布

				
			

			

				

					weixin_49588575的博客
				

				

					11-22
					
					747
					
				

			

		

		

			
				
记录IDEA创建Maven项目相关操作！

			
		

	





	

		

			

				
					
Hadoop之——Maven环境搭建

				
			

			

				

					冰河的专栏
				

				

					01-17
					
					2104
					
				

			

		

		

			
				
转载请注明出处：http://blog.csdn.net/l1028386804/article/details/79090443其实很简单，直接创建一个Maven项目，pom.xml中加入如下配置即可：
    org.apache.hadoop
    hadoop-hdfs
    2.9.0

	
    org.apache.hadoop
    hadoop-client
    2.

			
		

	





	

		

			

				
					
win下maven创建的hadoop程序demo

				
			

			

				

					10-23
				

			

		

		

			
				
【标题】"win下maven创建的hadoop程序demo"涉及了多个IT领域的知识点，包括Windows操作系统、Maven构建工具、Hadoop分布式框架以及MapReduce编程模型。下面将逐一详细介绍这些概念及其相互关系。  1. **Windows操作...

			
		

	





	

		

			

				
					
用Maven构建Hadoop环境

				
			

			

				

					leafdown_的博客
				

				

					03-11
					
					6857
					
				

			

		

		

			
				
1.1用Maven创建一个标准化的Java项目
mvn archetype:generate -DgroupId=com.baidu -DartifactId=InstructionsHdfs-DarchetypeArtifactId=maven-archetype-quickstart -DinteractiveMode=false

注：

DgroupId：project-packaging...

			
		

	





	

		

			

				
					
用Maven构建hadoop项目

				
			

			

				

					阿正的博客
				

				

					08-28
					
					491
					
				

			

		

		

			
				
https://www.cnblogs.com/1184212881-Ark/p/5386975.html

			
		

	





	

		

			

				
					
IDEA上编写hadoop程序（Maven）【笔记自用】

				
			

			

				

					#姚大姚 的博客
				

				

					04-22
					
					3158
					
				

			

		

		

			
				
说明：在IDEA上进行编写简单的hadoop程序，适用于个人简单入门
版本：IDEA2019.3.3 + Hadoop2.6 + java8 + win10
系列：
一，创建项目
1，创建项目

　2，选择Maven，选择自己的JDK，不用选择Create from archetype(创建表单原型)，点击Next
　
3，输入想要创建项目的Name(名称)和Location(工作区)，这里输入的项目名称为WordCount，点击FilnishIEDA会帮你创建好项目的基础结构

3.1，IDEA2019.

			
		

	





	

		

			

				
					
Hadoop中创建maven项目是需要的pom依赖

				
			

			

				

					lukabruce的博客
				

				

					05-11
					
					6279
					
				

			

		

		

			
				
&lt;project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/m...

			
		

	





	

		

			

				
					
创建maven的hadoop项目的步骤及eclipse 的java快捷键

				
			

			

				

					人工智能之路
				

				

					07-03
					
					746
					
				

			

		

		

			
				
1、打开eclipse
2、选择File–>New–>other
3、

4、

5、添加依赖
打开pom.xml
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
	xsi:schemaLocation="http://...

			
		

	





	

		

			

				
					
从零自学Hadoop(09)：使用Maven构建Hadoop工程

				
			

			

				

					
				

				

					10-08
					
					116
					
				

			

		

		

			
				
阅读目录

序
Maven
安装
构建
示例下载
系列索引



本文版权归mephisto和博客园共有，欢迎转载，但须保留此段声明，并给出原文链接，谢谢合作。


文章是哥(mephisto)写的，SourceLink



序

　　上一篇，我们编写了第一个MapReduce，并且成功的运行了Job，Hadoop1.x是通过ant来管理工程的...

			
		

	





	

		

			

				
					
使用maven构建hadoop项目

				
			

			

				

					qq_35014739的博客
				

				

					06-03
					
					510
					
				

			

		

		

			
				
1、jdk的下载，安装，及环境变量的配置
2、maven的下载，安装，及环境变量的配置
3、eclipse maven插件的安装（百度有）
4、安装好后，重启maven
5、设置maven，Window-Preferences-Maven-Installations-add，添加maven安装路径


6、设置maven，Window-Preferences-Maven-User S

			
		

	





	

		

			

				
					
用maven构建hadoop项目

				
			

			

				

					闫国梁的博客
				

				

					12-03
					
					338
					
				

			

		

		

			
				
环境：eclipse-jee-mars-2-win32-x86_64（maven插件自带）

1.maven下载

　　这里以apache-maven-3.2.2-bin.tar示例，

　　具体下载链接：http://pan.baidu.com/s/1geRAykj 密码：egct

2.在windows下配置环境变量：MAVEN_HOME 和 path

　　

　　

3.cmd下 ，mv...

			
		

	





	

		

			

				
					
hadoop学习-hdfs的客户端操作之写java代码来操作hdfs从创建Maven工程到rename方法

				
			

			

				

					有上进心的阿龙
				

				

					12-19
					
					181
					
				

			

		

		

			
				
1、创建一个maven工程



创建好之后，第一个先添加依赖：
<dependencies>
    <dependency>
        <groupId>junit</groupId>
        <artifactId>junit</artifactId>
        <version>4.12</version>
    </dependency>
    <depende

			
		

	





	

		

			

				
					
使用maven开发hadoop的mapreduce应用

					
热门推荐

				
			

			

				

					牛儿吃草的博客
				

				

					05-17
					
					1万+
					
				

			

		

		

			
				
1. 创建maven应用。

2. centos里将下载好的maven资源包在线解压。资源包下载地址：
tar -zxvf m2.tar.gz

3. 配置pom.xml

  4.0.0
  cn.itcast.hadoop.mr
  datacount
  0.0.1-SNAPSHOT
  
  
  	
  		org.apache.hadoop
  		hadoop-commo

			
		

	





	

		

			

				
					
虚拟机安装win8系统、安装jdk、安装maven

				
			

			

				

					danny_799745061的博客
				

				

					10-05
					
					370
					
				

			

		

		

			
				
第一步、先下载原版的win8 ios镜像文件。下载地址:https://msdn.itellyou.cn/   下载Pro版

第二步、在虚拟机中创建win8虚拟机

第三步、下载jdk1.8。下载地址：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

第四步、配置jdk环境变...

			
		

	





	

		

			

				
					
使用Maven简化Hadoop MapReduce项目构建

				
			

			

				

					
				

			

		

		

			
				
在Hadoop MapReduce开发中，构建环境的配置往往是一项繁琐的任务。为了简化这一过程并实现标准化的开发流程，我们可以利用Apache Maven，这是一个强大的Java项目管理与自动化构建工具。Maven通过项目对象模型（POM）...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值