hadoop在windows下eclipse的配置

• 配置完环境变量，出现JAVA_HOME没有正确设置

  JAVA_HOME路径名中带有空格，需要重命名，另外在C盘中的Program File可以缩写成PROGRA~1，或者把“C:\Program Files"，用引号引起来

• windows能ping到虚拟机中的Linux，但是无法访问50070端口？

  需要关闭Linux的防火墙

  参考CentOS

  #关闭防火墙
  systemctl stop firewalld
  
  #关闭开机自启动防火墙
  systemctl stop firewalld.service
  

• 无法直接删除或创建dfs文件夹

  vi hadoop-2.6.5/etc/hadoop/hdfs-site.xml
  

  在该文件中的configuration标签中添加如下子标签

  <property>    
  	<name>dfs.permissions</name>
  	<value>false</value>
  </property>
  

  然后重启HDFS服务

  stop-all.sh
  start-all.sh
  

• 把插件放在plugin目录下，重启eclipse没有出现该插件选项

  1、通过cmd启动Eclipse时带上 -clean参数

  2、删除整个目录eclipse/configuration/org.eclipse.update/，重启Eclipse（可能只进行该步骤即可）

• 浏览器能访问50070端口，但是在eclipse中还是不能连接？

  可能是9000端口的问题，在hosts中修改master前面的IP 127.0.0.1改为0.0.0.0，然后重启dfs

  vi /etc/hosts
  

  使用netstat -tpnl可以查看到50070端口IP为0.0.0.0，而9000和9001端口IP是127.0.0.1，需要改为0.0.0.0就可以把所有端口开放了

  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-L94UYLqh-1620708088103)(G:\大数据\hadoop在windows下eclipse的配置.assets\image-20210508214329109.png)]

• 按Ctrl+鼠标左键无法查看hadoop源码？

  添加attachment 连接到一个hadoop zip文件，该zip文件可以由tar.gz先解压然后压缩得到，一般只能低版本hadoop可行，因为attachment默认回去src目录下找源码，而高版本没有src目录。也可以直接将src目录压缩为zip文件。

• 运行诸如mapreduce、sequencefile等程序提示空指针异常

  可能是对于本地window的hadoop没有进行进一步的配置

  本地window hadoop实际上用的是Linux hadoop，可以预料到这是不行的，需要将hadoop中的bin目录替换为一个修改后的bin目录，该目录 可在网上下载，然后将bin目录中一个hadoop.dll动态库文件放入C:/window/System32目录中，环境变量中可以增加一个HADOOP_USER_NAME,变量值为root，注意该变量值与eclipse中DFS 的username可能并无关系，那个username是windows的用户名

• 提示schema hdfs无法找到

  可能是自己乱弄导致的结果，正常通过map/reduce创建项目，导入jar包就不会出问题，出现那种情况可以通过设置configuration

  conf = new Configuration();
  conf.set("fs.hdfs.impl","org.apache.hadoop.hdfs.DistributedFileSystem");
  

set(“fs.hdfs.impl”,“org.apache.hadoop.hdfs.DistributedFileSystem”);

注意：当继续出现错误时，提示没有找到那个类，就是自己没有导入相关的jar包