本文介绍了如何在IntelliJ IDEA中创建一个maven项目，并以WordCount为例，详细讲解了从环境配置到打包运行MapReduce作业的全过程，包括设置Hadoop环境变量、配置项目结构、编写Mapper和Reducer、打包和运行作业。在遇到权限问题时，提供了使用hadoop fs -chmod -R 777 / 来解决的建议。
本案例是一个maven项目，以wordcount为例
环境配置
既然是与hadoop集群打交道，我们本地也是需要有hadoop环境的
将linux中解压的hadoop文件复制到本地
进入高级设置，配置环境变量
# hadoop的home目录所在位置
HADOOP_HOME=D:\hadoop-3.1.3
HADOOP_BIN_PATH=%HADOOP_HOME%\bin
HADOOP_PREFIX=%HADOOP_HOME%
# 在path后追加
%HADOOP_HOME%\sbin;%HADOOP_HOME%\bin;
下载hadoop.dll,winutils.exe
winutils.exe放置到HADOOP_HOME/bin下
hadoop.dll放置到HADOOP_HOME/bin和C:\Windows\System32下
首先创建一个maven项目
其次按照如下目录创建Java类和配置文件
最低0.47元/天 解锁文章
扫一扫
559
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
