【Hadoop】如何将虚拟机上的hdfs挂载为主机操作系统的一个分区

最新推荐文章于 2024-06-30 17:13:03 发布

橡树小胖oak

最新推荐文章于 2024-06-30 17:13:03 发布

阅读量1.9k

点赞数

文章标签： hadoop集群 hdfs

本文链接：https://blog.csdn.net/u014025479/article/details/21954751

版权

本文介绍了如何将虚拟机上的Hadoop HDFS挂载为主机操作系统的一个分区，涉及FUSE、WebDAV、iSCSI和Samba等技术方案。在VirtualBox环境下，通过Hadoop的Fuse-DFS模块将HDFS挂载为Unix文件系统，然后使用iSCSI或Samba将挂载的目录转换为主机的分区。然而，iSCSI Target在访问挂载了HDFS的FUSE目录时遇到权限问题，而Samba方案则因性能和文件同步问题不被首选。

摘要由CSDN通过智能技术生成

概述：本文探讨如何将虚拟机上的hdfs挂载为主机操作系统的一个分区，并给出可能用到的接口软件，以及这些接口软件与Hadoop配合工作时可能遇到的问题。在VirtualBox环境下搭建好hadoop环境后，想要在主机操作系统方便的浏览到存储在hadoop的内容，并对hdfs文件系统进行读写操作，这里涉及到多个接口软件。第一步是把hdfs文件系统挂载为一个Unix文件系统，第二步是对这个挂载的文件夹进行网络访问。本文的技术方案可以总结为：hadoop+FUSE(或WebDAV)+iSCSI(或Samba)

测试环境：CentOS 6.4

Hadoop集群说明：一个namenode和三个datanode协同工作，以下所列接口软件都安装在namenode上

一、从hdfs到Unix文件系统

（1）用FUSE挂载hdfs文件系统

用户空间文件系统（FUSE）允许把按照用户空间实现的文件系统整合成一个Unix文件系统。通过使用Hadoop的Fuse-DFS功能模块，任意一个Hadoop文件系统均可以作为一个标准文件系统进行挂载。随后便可以使用Unix工具（如ls和cat）与该文件系统进行系统交互，还可以通过任意一种编程语言调用POSIX库来访问文件系统。如何用FUSE挂载hdfs，配置过程可以参考以下几个配置文档：

http://www.360doc.com/content/12/1217/13/834950_254552340.shtm