window下操作hdfs出现空指针异常,除了需要配置hadoop环境之外,还要修改hadoop安装目录里面的bin,可以通过自己编译一个hadoop,也可以直接从网上下载相应的编译后文件:https://github.com/steveloughran/winutils,环境好了之后,还会出现问题
这是因为访问权限问题,只要修改访问的主机名称就好了,可以通过传递jvm参数来告诉程序,即添加jvm参数: -DHADOOP_USER_NAME=root;或者在代码上加上:
FileSystem fs = FileSystem.get(new URI("hdfs://sparkproject1:9000"),conf,"root");
将文件上传后,使用web访问:sparkproject1:50070,点击文件出现这个问题:
解决:换chrome浏览器就好了