Win10 IDEA连接虚拟机中的Hadoop集群(进来保你成)_idea连接虚拟机上hadoop集群

本文详细指导如何在Windows环境下配置Hadoop环境,包括设置JAVA_HOME,添加winutil.exe,配置Maven,集成Hadoop库,以及使用JavaMapReduce实现词频统计。内容涉及Maven配置、log4j日志管理以及MapReduce编程示例。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

变量值:%JAVA_HOME%\bin

变量值:%JAVA_HOME%\jre\bin

使用java -version、javac验证(注意上面bin以及\jre\bin都要配置,不然会出现hadoop找不到JAVA_HOME的问题)

6. 将winutil.exe放置到hadoop-2.7.7\bin\目录下面。(wintil.ext下载,GitHub中选一个比自己hadoop版本相同或者说高一点的版本)

7. 将winutil.exe以及hadoop-2.7.7\bin\hadoop.dll放置到C:\Windows\System32中

8. 使用idea打开一个空的目录

9. 添加maven,点击Add Framwork Support

添加maven

添加成功后会出现main与test

10.配置maven,将Linux虚拟机中hadoop-2.7.7\etc\core-site.xml与hadoop-2.7.7\etc\hdfs-site.xml复制到resource下(可以通过log4j.properties配置控制台日志的输出等级,可以自己上网查询其他的输出等级策略)

log4j.rootLogger=debug,stdout,R 
log4j.appender.stdout=org.apache.log4j.ConsoleAppender 
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout 
log4j.appender.stdout.layout.ConversionPattern=%5p - %m%n 
log4j.appender.R=org.apache.log4j.RollingFileAppender 
log4j.appender.R.File=mapreduce_test.log 
log4j.appender.R.MaxFileSize=1MB 
log4j.appender.R.MaxBackupIndex=1 
log4j.appender.R.layout=org.apache.log4j.PatternLayout 
log4j.appender.R.layout.ConversionPattern=%p %t %c - %m%n 
log4j.logger.com.codefutures=DEBUG

11. 配置pom.xml

初始状态

添加下方的内容到pom.xml中,添加后idea会开始猛烈地加载需要的资源文件,下载完成后原先的红色pom.xml会变成蓝色(注意:hadoop的版本要和自己的版本一样)

<properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <maven.compiler.source>1.8</maven.compiler.source>
    <maven.compiler.target>1.8</maven.compiler.target>
  
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值