Windows64位系统安装Hadoop并在本地调试MapReduce程序,步骤及问题解决

安装

网上的安装步骤随便一查到处都是，我这里只是简单描述下。

1. 下载对应操作系统的jdk，安装并配置环境变量。
2. 下载Hadoop二进制版，解压至任意目录并配置环境变量，根据网上或官方文档修改etc/hadoop/目录下的配置文件，配置伪分布式集群。
3. 需要下载winutils.exe和hadoop.dll放置到Hadoop的安装目录的bin/文件夹下。需要下载的话直接去github上下载就可以，别再花C币去下载啦~。配个链接：下载winutils.exe和hadoop.dll
4. 如果要在Windows下对自己编写的MapReduce进行调试，那么Windows下一定要安装Hadoop环境，并能够顺利进行如下命令：

hadoop namenode -format
start-dfs.cmd
start-yarn.cmd

如果你上述几个命令执行都报错，那么在Windows下调试MapReduce程序肯定会报错，所以，调试前先把基本的环境准备好。

特别注意

不要以为自己电脑上之前装过jdk就不去检查jdk的版本，如果你的Windows为64位操作系统，一定要确保你安装的jdk是64位的，如果你报错如下：
那么恭喜你，你终于找到困扰你好几天的问题了，没错，你的JDK版本是32位的！！！重新安装64位的jdk就能解决这个问题。
java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z at org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Native Method) at org.apache.hadoop.io.nativeio.NativeIO$Windows.access(NativeIO.java:609) at org.apache.hadoop.fs.FileUtil.canRead(FileUtil.java:977) at org.apache.hadoop.util.DiskChecker.checkAccessByFileMethods(DiskChecker.java:187) at org.apache.hadoop.util.DiskChecker.checkDirAccess(DiskChecker.java:174) at org.apache.hadoop.util.DiskChecker.checkDir(DiskChecker.java:157) at org.apache.hadoop.hdfs.server.datanode.DataNode$DataNodeDiskChecker.checkDir(DataNode.java:2345) at org.apache.hadoop.hdfs.server.datanode.DataNode.checkStorageLocations(DataNode.java:2387) at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:2369) at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:2261) at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:2308) at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:2485) at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:2509)

查看安装的JDK是64位还是32位

在IDEA 下执行的Run配置参数

如果你想了解Hadoop的一些Java API调用以及MapReduce的Demo欢迎查看我的github:https://github.com/xgxizz/hadoop.git`
好了，学习是一个不断发现问题和解决问题的过程，选择了就不要放弃，解决了无数个小问题之后，你的人生就上升了一个新的高度，加油!