hadoop各类问题综述——windows10下配置hadoop

windows10下配置hadoop

在windows下配置hadoop需要考虑兼容性问题，如果忽视这个问题，那么在测试hdfs文件上传下载的时候，会报如下错误：

org.apache.hadoop.io.nativeio.NativeIO$Windows.createFileWithMode0

linux下的hadoop包在win10下不能兼容，我们可以选择编译hadoop源码，这种方式比较费时，因此还有一种选择，就是将下面这两个文件

1）hadoop.dll
放在C:\Windows\System32下
2）winutils.exe
放在win10 hadoop安装路径的bin目录下

重启eclipse，解决

（注：此文件win10 x64兼容，别的系统未测试）

下载连接：包含hadoop2.7.6

链接：https://pan.baidu.com/s/1wmUAvGQHWfk9cvmApfvf5Q
提取码：x9kh

操作完成后，兼容性问题解决，之后想要使用javaAPI操作hdfs，需要通过下两种方式继续配置。

1）eclipse安装集成插件

链接：https://pan.baidu.com/s/150lrmfPNy1nrJW462Fkcvw
提取码：me3r

将这两个插件安装在eclipse安装目录的plugins下，然后启动eclipse，在Servers下能看见大象hadoop图标，点进去配置自己设置的信息。

如下图所示：

2）maven（企业中一般这种方式）

在pom.xml种添加依赖

例如我的配置：

<dependencies>
  <dependency>
   <groupId>junit</groupId>
   <artifactId>junit</artifactId>
   <version>RELE