利用hdfs gateway挂载NFS到本地

最新推荐文章于 2024-08-04 17:08:34 发布

小蜜蜂爱编程

最新推荐文章于 2024-08-04 17:08:34 发布

阅读量616

点赞数 3

文章标签： hdfs hadoop

本文链接：https://blog.csdn.net/qq_42936727/article/details/137431825

版权

本文详细介绍了如何配置HDFS以启用NFSGateway，包括设置proxyuser权限、指定超级用户、临时目录和客户端访问权限。步骤包括修改配置文件、重启Hadoop集群和启动HDFS自带的NFS服务。

摘要由CSDN通过智能技术生成

HDFS NFS Gateway

HDFS提供了基于NFS(Network File System)的插件，可以对外提供NFS网关，供其它系统挂载使用。
NFS网关支持NFSv3,并允许将HDFS作为客户机本地文件系统的一部分挂载，现在支持：
·上传、下载、删除、追加内容
我们通过NFS网关可以将hdfs文件系统挂在为网络磁盘的形式，这样就可以像操作本地磁盘一样操作上面的数据

利用hdfs gateway挂载NFS

配置HDFS需要配置如下内容：

core-site.xml,新增配置项以及hdfs-site.xml,新增配置项
core-site.xml中新增：

<property>
<name>hadoop.proxyuser.hadoop.groups</name>
<value>*</value>
</property>

<property>
<name>hadoop.proxyuser.hadoop.hosts</name>
<value>*</value>
</property>

第一个配置项表示允许hadoop用户代理任何其他用户组，第二个标识允许代理服务器的请求

2.在hdfs-site.xml中新增如下项

<property>
<name>nfs.superuser</name>
<value>hadoop</value>
</property>
<property>
<name>nfs.dump.dir</name>
<value>/tmp/.hdfs-nfs</value>
</property>

<property>
<name>nfs.exports.allowed.hosts</name>
<value>192.168.88.1 rw</value>
</property>

nfs.suerpser:NFS操作HDFS系统，所使用的超级用户(hdfs的启动用户为超级用户)
nfs.dump.dir:NFS接收数据上传时使用的临时目录
nfs.exports.allowed.hosts:NFS允许连接的客户端IP和权限，rw表示读写，IP整体或部分可以以*代替

开启portmap、nfs3两个新进程
启动NFS功能
1.将配置好的core-site.xml和hdfs-site.xml分发到node2和node3
2.重启Hadoop HDFS集群（先stop-dfs.sh,后start-dfs.sh)
3.停止系统的NFS相关进程
a.systemctl stop nfs;systemctl disable nfs
关闭系统nfs并关闭其开机自启
b.yum remove-y rpcbind卸载系统自带rpcbind
4.启动portmap(HDFS自带的rpcbind功能)（必须以root执行）：hdfs-daemon start portmap
5.启动nfs(HDFS自带的nfs功能)（必须以hadoop.用户执行）：hdfs–daemon start nfs.3