本文档旨在说明如何在Windows上的IntelliJ IDEA（Idea）中配置并运行Hadoop MapReduce任务，以便在本地进行测试。首先解压缩Hadoop到Windows硬盘，然后在Idea中编写和导入MR代码，接着导入Hadoop组件的本地JAR文件。通过打包项目生成JAR，并设置Application运行参数，最终能够在IDEA中直接运行和测试MapReduce程序。
0. 目标
- Hadoop默认没有windows版本
- Hadoop集群部署在Linux虚拟机上,
- 通过idea编写的MR代码和输入文件要打包jar发送给Linux
- 为便于测试MR代码是否正确, 希望在idea上运行MR
1. 解压hadoop到windows硬盘中
https://blog.csdn.net/wxfghy/article/details/80450469
windows7下java代码从远程hadoop服务上下载文件
2. idea中写入MR代码
将之前写过的wordcount写入Idea
https://blog.csdn.net/wxfghy/article/details/80490867
3. 导入本地hadoop文件夹中各组件jar
- 进入Project Structure
- 选择Modules
- 选中Dependencies, 点击添加, 选择JARs or directories…选项
- 添加本地hadoop目录中以下的文件夹
最低0.47元/天 解锁文章
扫一扫
2万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
