使用NFS网关功能将HDFS挂载到本地系统

HDFS安装教程 

HDFS安装教程http://t.csdnimg.cn/2ziFd

使用NFS网关功能将HDFS挂载到本地系统

 简介

 HDFS提供了基于NFS（Network File System）的插件，可以对外提供NFS网关，供其它系统挂载使用。 NFS 网关支持 NFSv3，并允许将 HDFS 作为客户机本地文件系统的一部分挂载，现在支持： 上传、下载、删除、追加内容 如下图，将HDFS挂载为Windows文件管理器的网络位置

 

 配置

 在node1进行如下操作

1. 在core-site.xml 内新增如下两项

  <property>    

        <name>hadoop.proxyuser.hadoop.groups</name>    

        <value>*</value>  

</property>  

<property>    

        <name>hadoop.proxyuser.hadoop.hosts</name>    

        value>*</value>  

</property>

解释： 

 name： hadoop.proxyuser.hadoop.groups

value：*

允许hadoop用户代理任何其它用户组

name：hadoop.proxyuser.hadoop.hosts

value：*

允许代理任意服务器的请求

 2. 在hdfs-site.xml中新增如下项

  <property>    

        <name>nfs.superuser</name>    

        <value>hadoop</value>  

</property>  

<property>    

        <name>nfs.dump.dir</name>    

        <value>/tmp/.hdfs-nfs</value>  

</property>  

<property>    

        <name>nfs.exports.allowed.hosts</name>    

        <value>192.168.88.1 rw</value>  

</property>

解释 

nfs.suerpser：NFS操作HDFS系统，所使用的超级用户（hdfs的启动用户为超级用户） nfs.dump.dir：NFS接收数据上传时使用的临时目录 nfs.exports.allowed.hosts：NFS允许连接的客户端IP和权限，rw表示读写，IP整体或部分可以以*代替

教程设置的允许192.168.88.1以rw连接（这个IP是电脑虚拟网卡VMnet8的IP，连接虚拟机就走这个网卡） 

 启动NFS功能

（node1执行）

 1. 将配置好的core-site.xml和hdfs-site.xml分发到node2和node3等机器

2. 重启Hadoop HDFS集群（先stop-dfs.sh，后start-dfs.sh）

3. 停止系统的NFS相关进程

a.

systemctl stop nfs

systemctl disable nfs     关闭系统nfs并关闭其开机自启

b.

yum remove -y rpcbind    卸载系统自带rpcbind

4. 启动portmap（HDFS自带的rpcbind功能）（必须以root执行）：hdfs --daemon start portmap

5. 启动nfs（HDFS自带的nfs功能）（必须以hadoop用户执行）：hdfs --daemon start nfs3

 检查NFS是否正常

 以下操作在node2或node3执行（因为node1卸载了rpcbind，缺少了必要的2个命令，无法检验）

执行：

rpcinfo -p node1

正常输出如下

 

 执行：

showmount -e node1

可以看到 / 192.168.88.1 

 

在Windows挂载HDFS文件系统 

此功能需要专业版，如果是家庭版Windows需要升级为专业版

1. 开启Windows的NFS功能 

 

 2. 在Windows命令提示符（CMD）内输入：net use E: \\启动nfs和rpcbind的机器ip地址\!

注意 E 要是系统没要用到的名称

 3. 完成后即可在文件管理器中看到盘符为X的网络位置

 

 

至此，就将HDFS挂载到Windows文件管理器内了 可以进行上传、下载、改名、删除、追加文本等操作。 

 4. 点击右键客户断开连接