一、可以用网上的hdfs-webDav在windows机器上通过网上邻居防问hadoop的hdfs文件系统。步骤:
1.下载hdfs-webdav.war,修改hdfs-webdev.war里面的WEB-INF/classes/hadoop-site.xml
修改fs.default.name属性,以确定hdfs-webdev要连接的hadoop NameNode Server,示例:
2.替换hadoop-xxxx-core.jar版本
由于hadoop有自己的rpc远程调用实现,并且各个版本间可能不兼容(0.17.x与0.18.x之间就不兼容),所以需要将WEB-INF/lib/hadoop-xxxx-core.jar的版本与NameNode Server的版本一致.现war自带的是hadoop-0.17.2.1-core.jar的版本
3.访问http://localhost:8080/hdfs-webdev
4.打开“网上邻居”,添加网上邻居,在“请键入网上邻居的位置”中输入 Web 文件夹的 URL.
http://localhost:8080/hdfs-webdev
然后按照向导的提示继续下一步就可以了.
----------------------------
通过以上设置,可以在网上邻居里查看hadfs的文件了,却不能上传,一上传就报错,
查来很久,原来是hadoop权限问题,在hadoop-site.xml里增加如下内容:
二、解决用webDav上传中文文件乱码问题。
这主要由于hadoop是默认的是utf-8的格式,而windows是gbk的,所以要在转码,webDav是经过tomcat容器实现上传文件的,所以要在tomcat里将转码配制一下,即Ok了。
1.下载hdfs-webdav.war,修改hdfs-webdev.war里面的WEB-INF/classes/hadoop-site.xml
修改fs.default.name属性,以确定hdfs-webdev要连接的hadoop NameNode Server,示例:
property>
<name>fs.default.name</name>
<value>hdfs://10.0.1.8:54310/</value>
<description>namenode</description>
</property>
2.替换hadoop-xxxx-core.jar版本
由于hadoop有自己的rpc远程调用实现,并且各个版本间可能不兼容(0.17.x与0.18.x之间就不兼容),所以需要将WEB-INF/lib/hadoop-xxxx-core.jar的版本与NameNode Server的版本一致.现war自带的是hadoop-0.17.2.1-core.jar的版本
3.访问http://localhost:8080/hdfs-webdev
4.打开“网上邻居”,添加网上邻居,在“请键入网上邻居的位置”中输入 Web 文件夹的 URL.
http://localhost:8080/hdfs-webdev
然后按照向导的提示继续下一步就可以了.
----------------------------
通过以上设置,可以在网上邻居里查看hadfs的文件了,却不能上传,一上传就报错,
查来很久,原来是hadoop权限问题,在hadoop-site.xml里增加如下内容:
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
<property>
<name>dfs.web.ugi</name>
<value>hadoop,supergroup</value>
</property>
二、解决用webDav上传中文文件乱码问题。
这主要由于hadoop是默认的是utf-8的格式,而windows是gbk的,所以要在转码,webDav是经过tomcat容器实现上传文件的,所以要在tomcat里将转码配制一下,即Ok了。