Windows下使用idea来运行MR
1、配置本地环境变量
我们要先在本地配置Hadoop运行环境,我的是hadoop2.7.5
先解压按装包,然后配置hadoop环境变量
2、下载hadoop.dall和winutils.exe两个文件,我在这里面下载的是hadoop2.7.1
网址:https://github.com/LUK-qianliu/winutils-master
将下载好的这两个文件放到hadoop的bin目录下,但是此时我们还不能运行成功,我们还需要将hadoop.dell文件放到System32目录下,然后运行MR程序,程序启动成功
3、当我们对HDFS文件系统进行操作的时候
有时候会给我报权限的问题,此时我们需要在hadoop/ect/hadoop目录下配置hdfs-site.xml文件中添加
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>