-
配置完环境变量,出现JAVA_HOME没有正确设置
JAVA_HOME路径名中带有空格,需要重命名,另外在C盘中的Program File可以缩写成PROGRA~1,或者把“C:\Program Files",用引号引起来
-
windows能ping到虚拟机中的Linux,但是无法访问50070端口?
需要关闭Linux的防火墙
参考CentOS
#关闭防火墙 systemctl stop firewalld #关闭开机自启动防火墙 systemctl stop firewalld.service
-
无法直接删除或创建dfs文件夹
vi hadoop-2.6.5/etc/hadoop/hdfs-site.xml
在该文件中的configuration标签中添加如下子标签
<property> <name>dfs.permissions</name> <value>false</value> </property>
然后重启HDFS服务
stop-all.sh start-all.sh
-
把插件放在plugin目录下,重启eclipse没有出现该插件选项
1、通过cmd启动Eclipse时带上 -clean参数
2、删除整个目录eclipse/configuration/org.eclipse.update/,重启Eclipse(可能只进行该步骤即可)
-
浏览器能访问50070端口,但是在eclipse中还是不能连接?
可能是9000端口的问题,在hosts中修改master前面的IP 127.0.0.1改为0.0.0.0,然后重启dfs
vi /etc/hosts
使用netstat -tpnl可以查看到50070端口IP为0.0.0.0,而9000和9001端口IP是127.0.0.1,需要改为0.0.0.0就可以把所有端口开放了
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-L94UYLqh-1620708088103)(G:\大数据\hadoop在windows下eclipse的配置.assets\image-20210508214329109.png)]
-
按Ctrl+鼠标左键无法查看hadoop源码?
添加attachment 连接到一个hadoop zip文件,该zip文件可以由tar.gz先解压然后压缩得到,一般只能低版本hadoop可行,因为attachment默认回去src目录下找源码,而高版本没有src目录。也可以直接将src目录压缩为zip文件。
-
运行诸如mapreduce、sequencefile等程序提示空指针异常
可能是对于本地window的hadoop没有进行进一步的配置
本地window hadoop实际上用的是Linux hadoop,可以预料到这是不行的,需要将hadoop中的bin目录替换为一个修改后的bin目录,该目录 可在网上下载,然后将bin目录中一个hadoop.dll动态库文件放入C:/window/System32目录中,环境变量中可以增加一个HADOOP_USER_NAME,变量值为root,注意该变量值与eclipse中DFS 的username可能并无关系,那个username是windows的用户名
-
提示schema hdfs无法找到
可能是自己乱弄导致的结果,正常通过map/reduce创建项目,导入jar包就不会出问题,出现那种情况可以通过设置configuration
conf = new Configuration(); conf.set("fs.hdfs.impl","org.apache.hadoop.hdfs.DistributedFileSystem");
set(“fs.hdfs.impl”,“org.apache.hadoop.hdfs.DistributedFileSystem”);
注意:当继续出现错误时,提示没有找到那个类,就是自己没有导入相关的jar包