Windows下idea中实现Hadoop本地测试功能

最新推荐文章于 2025-04-22 14:54:02 发布
最新推荐文章于 2025-04-22 14:54:02 发布
阅读量3.1k 收藏 3
点赞数
分类专栏： Hadoop 问题 MapReduce Java 大数据 文章标签： MapReduce idea
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wxfghy/article/details/80521577
版权
本文档旨在说明如何在Windows上的IntelliJ IDEA（Idea）中配置并运行Hadoop MapReduce任务，以便在本地进行测试。首先解压缩Hadoop到Windows硬盘，然后在Idea中编写和导入MR代码，接着导入Hadoop组件的本地JAR文件。通过打包项目生成JAR，并设置Application运行参数，最终能够在IDEA中直接运行和测试MapReduce程序。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

0. 目标

  1. Hadoop默认没有windows版本
  2. Hadoop集群部署在Linux虚拟机上,
  3. 通过idea编写的MR代码和输入文件要打包jar发送给Linux
  4. 为便于测试MR代码是否正确, 希望在idea上运行MR

1. 解压hadoop到windows硬盘中

https://blog.csdn.net/wxfghy/article/details/80450469
windows7下java代码从远程hadoop服务上下载文件

2. idea中写入MR代码

将之前写过的wordcount写入Idea
https://blog.csdn.net/wxfghy/article/details/80490867

3. 导入本地hadoop文件夹中各组件jar

  1. 进入Project Structure
    Project Structure
  2. 选择Modules
  3. 选中Dependencies, 点击添加, 选择JARs or directories…选项
  4. 添加本地hadoop目录中以下的文件夹
最低0.47元/天 解锁文章
intellij idea本地开发调试hadoop的方法
oo笨小孩oo的专栏
04-26 2万+
我的intellij idea版本是14，hadoop版本2.6，使用《hadoop权威指南》的天气统计源码作为示例。 1、首先在hadoop官网上下载hadoop到本地（不需要进行环境变量的配置，仅仅只用下载hadoop的包即可）。 2、打开intellij idea创建一个空项目，并且将源码粘贴进去，如图 2、这时可以看见代码中的许多类是无法识别的，别急。接下来打开p
在 Windows 上使用 Idea 本地调试 Hadoop 程序
暗号是什么
12-05 1785
1 配置 windows 上的 Hadoop 环境变量在 windows 上配置 Hadoop 需要第三方编译的 windows 的二进制文件，该文件在 GitHub 上可以找到 windows-hadoop-winutils，在 wiki - Problems running Hadoop on Windows 上可以看到官方对此的解释。所以我们在官网下载 Hadoop-2.8.1，并且下载上文提
四.idea本地调试hadoop程序
weixin_33725807的博客
07-19 188
目录： 目录见文章1 1.先上案例代码 WordCount.java: import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import or...
Windows安装Hadoop（图文解说版）
最新发布
编码人生
04-22 917
Hadoop 由许多元素构成。其最底部是 Hadoop Distributed File System（HDFS），它存储 Hadoop 集群中所有存储节点上的文件。HDFS 的上一层是 MapReduce 引擎，YARN负责 资源调度系统。HDFS 的架构是基于一组特定的节点构建的，这是由它自身的特点决定的。这些节点包括 NameNode（仅一个），它在 HDFS 内部提供元数据服务；DataNode，它为 HDFS 提供存储块。而这里引用网上一张图。
IDEA调试本地Hadoop程序
奋斗吧_-小青年
05-17 905
1、新建IntelliJ下的maven项目点击File->New->Project，在弹出的对话框中选择Maven，JDK选择你自己安装的版本，点击Next2、填写Maven的GroupId和ArtifactId你可以根据自己的项目随便填，点击Next这样就新建好了一个空的项目这里程序名填写WordCount,我们的程序是一个通用的网上的范例,用来计算文件中单词出现的次数3、设置程序的编译版本打开I
idea本地调试hadoop
jamal117的博客
01-01 760
hadoop依赖jar<!-- hadoop --> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-core</artifactId> <version>1.2.1</version> </dependen
Windows下IntelliJ IDEA远程连接服务器中Hadoop运行WordCount（详细版）
热门推荐
NBA首席形象大使坤坤
04-10 1万+
使用IDEA直接运行Hadoop项目，有两种方式，分别是本地式：本地安装Hadoop+IDEA；远程式：远程部署Hadoop，本地安装IDEA并连接， 本文介绍第二种。 文章目录一、安装配置Hadoop(1)虚拟机伪分布式(2)云服务器分布式二、配置IDEA1、安装配置Maven2、新建Maven项目三、设置连接Hadoop1、Linux中操作2、IDEA中操作四、可能出现的问题 一、安装配置Hadoop (1)虚拟机伪分布式 见上才艺！CentOS7从0到1部署Apache Hadoop生态集群 (2)云
hadoop wordcount windows idea本地测试方法
cl723401的博客
04-25 747
搭建hadoop集群环境这里不做过多说明 windows下hadoop环境搭建 下载hadoop对应的包，这里给出百度网盘链接：链接：https://pan.baidu.com/s/1Br9fzRBEQFtEELPWjXWqLQ 提取码：xcmt 解压 下载windows辅助文件：winutils.exe,链接：链接：https://pan.baidu.com/s/1gL1xCgvGCbBrTW...
Win10 IDEA连接虚拟机中的Hadoop集群（进来保你成）_idea连接虚拟机上hadoop集群
2401_84185074的博客
04-28 1604
变量值：%JAVA_HOME%\bin变量值：%JAVA_HOME%\jre\bin使用java -version、javac验证（注意上面bin以及\jre\bin都要配置，不然会出现hadoop找不到JAVA_HOME的问题）6. 将winutil.exe放置到hadoop-2.7.7\bin\目录下面。下载，GitHub中选一个比自己hadoop版本相同或者说高一点的版本)
windows中hadoop使用测试
chobit个人的学习笔记
08-14 1011
基于 windows编译安装hadoop windows 安装hadoop
Idea 如何在本地调试Hadoop
qq_28349809的博客
08-15 571
Idea 如何在本地调试Hadoop关于环境信息新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 关于环境信息 ...
Hadoop IDEA 本地调试MR 包含文档和所有的资源
11-06
IDEA 本地调试Hadoop 和MR，所有的资源和说明文档，绝对正确。
IDEA本地调试
qq_57389613的博客
12-14 1861
IDEA软件功能比较强大，使用的人也很多。这里讲一下代码的本地调试，希望能有帮助。 打开一个代码。 点击右上角第二个直接调试。 调试结果。 或者鼠标单击右键，点调试也行。 设置断点调试。 单击序号旁，出现红点，代码会出现标红，再点一下红点取消调试。 设置好断点调试，出现如下步骤。 点击上图的2步过，一直点，直到控制台出现如下图 1：运行结果，2：断开连接，3：进程结束，退出代码为0. 好的，那本地调试就全部讲完了。个人感觉直接调...
idea 调试 Hadoop
luckgl的博客
08-28 183
hadood idea java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries. – 解决方式： System.setProperty(“hadoop.home.dir”, “Full\folder\path:\winutil\”); ps: if you havn’t install winutils.exe you can execute the command git
本地idea 调试Hadoop的mr任务（Windows环境）以及对应安装包的下载
huni的博客
12-08 2189
本地运行调试 mr作业
IDEA本地启动单元测试类-通过环境变量配置
han_you_3214的博客
06-05 3388
【代码】IDEA本地启动单元测试类-通过环境变量配置。
IDEA在WIN系统下搭建调试HADOOP3的MR调试环境
Mickey_flY的博客
11-13 1268
搭建可以调试hadoop3的MR程序本地环境。
工作四年，我学会了用 Idea本地调试线上测试服务器代码
Andrew_Chenwq的博客
02-06 1012
❁)(❁´◡。
idea 本地调试虚拟机中的hadoop2.6.0-cdh5.7.0项目
leizhengtao520的博客
05-15 1241
涉及的软件或文件如下： 1.idea maven 2.hadoop.dll,winutils.exe ,winutils.pdb 适配windows64位操作系统（重要）而且这三个是适合hadoop2.7版本的也适合于2.6版本 下载链接：点击打开链接 3.关闭hdfs的权限 在这个etc/hadoop下的hdfs-site.xml添加 （记得先关闭集群再重启） <pr...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值