HDFS NFS Gateway安装配置详解

HDFS NFS Gateway安装配置详解

1.概述

HDFS NFS Gateway能够把HDFS挂载到客户机上作为本地文件系统来管理，支持NFSv3。当前版本的NFS Gateway有如下可用特性。

l  用户在支持NFSv3的操作系统上可以通过本地文件系统浏览HDFS。

l  使用NFS Gateway 用户能够直接下载和上传HDFS文件到本地文件系统中。

l  用户可以通过挂载点直接传输数据流至HDFS，但只能增量添加不能随机写数据。

2.开启NFS Gateway

NFS服务需要三个守护进程rpcbind或portmap（portmap在centos6上被改名为rpcbind）, mountd and nfsd，NFS Gateway已经包含了nfsd和mountd。挂载时会把HDFS根目录作为唯一的挂载点。由于在RHEL6.2等操作系统上rpcbind有bug,推荐使用NFS Gateway软件包里自带的portmap.

开启nfs gateway步骤如下：

1）停止系统本身的nfs/rpcbind/portmap服务 

service nfs stop

service rpcbind stop 

2) 开启自带的portmap服务，需要root权限。 

hadoop portmap（默认会在前台一直运行，并输出运行信息）

或

hadoop-daemon.sh start portmap 

3）开启mountd和nfsd。此处不需要root权限，但是注意保证启动NFS Gateway用户和启动hadoop集群的用户是同一个。   

    hadoop nfs3 （默认会在前台一直运行，并输出运行信息）

    或

    hadoop-daemon.shstart portmap 

关闭NFS Gateway方法如下： 

    hadoop-daemon.sh stop nfs3

hadoop-daemon.sh stop portmap

3.验证

1）执行以下命令验证是否服务已经开启。

rpcinfo  -p  $nfs_server_ip 

实例操作如下（在虚拟机100.2.12.142、144、146三台机器上安装了transwarp，在100.2.12.133上进行测试）：

2）查看机器可被挂载的nfs目录：

       showmount-e $nfs_server_ip