hadoop新特性通过NFSv3挂载HDFS到本地目录

最新推荐文章于 2024-06-30 17:13:03 发布
最新推荐文章于 2024-06-30 17:13:03 发布
阅读量2.9k 收藏 2
点赞数
分类专栏： Hadoop/CDH
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jethai/article/details/52345067
版权
本文介绍了如何通过NFSv3将HDFS挂载到本地目录，实现像操作本地文件系统一样操作HDFS。首先讲解了NFS Gateway的工作原理，然后详细阐述了安装配置HDFS NFS Gateway的步骤，并提供了启动服务和验证服务的方法。接着，展示了挂载、创建目录、上传文件到HDFS以及解挂HDFS的过程。在遇到umount设备忙的问题时，给出了使用fuser和lsof命令查找并结束相关进程的解决方案。最后推荐了在Linux下使用的tree命令，帮助用户直观查看目录结构。
摘要由CSDN通过智能技术生成

原理

NFS允许用户像访问本地文件系统一样访问远程文件系统，而将NFS引入HDFS后，用户可像读写本地文件一样读写HDFS上的文件，大大简化了HDFS使用，这是通过引入一个NFS gateway服务实现的，该服务能将NFS协议转换为HDFS访问协议，具体如下图所示。


wKiom1VPeNOytasGAADVSLPdFkU986.jpg


Portmap和Nfs3进程是成功启动hdfs nfs网关后才有的进程



HDFS NFS Gateway安装配置详解

http://blog.csdn.net/rzliuwei/article/details/38388279



启动NFS Gateway 服务

官网链接

最低0.47元/天 解锁文章
小小程序员1986
关注
专栏目录
通过NFSv3挂载HDFS到本地目录 -- 1安装配置NFS
XuYongshi02的专栏
01-25 2860
通过NFSv3挂载HDFS到本地目录  -- 1安装配置NFS 1. 背景 HDFS 几乎成了 分布式计算的标配， 但是，大部分的程序，或者程序袁使用的还是POSIX或者类POSIX接口。 因此，如何适配就是个问题。 MapR 的产品，使用HDFS作为持久化的基础，但是app使用起来，还是很方便，其中一个原因是 透过NFS 使用HDFS， 上层应用看到的就是POSIX接口，只是U
【大数据】3:使用NfS网关功能将HDFS挂载到本地系统
最新发布
2301_76936713的博客
08-04 493
HDFS提供了基于NFS（Network File System）的插件，可以对外提供NFS网关，供其它系统挂载使用。NFS 网关支持 NFSv3，并允许将 HDFS 作为客户机本地文件系统的一部分挂载，现在支持： 上传、下载、删除、追加内容如下图，将HDFS挂载为Windows文件管理器的网络位置。
97.HDFS文件系统挂载
大勇若怯任卷舒
01-25 1902
97.1 演示环境介绍 CM和CDH版本：5.11.2 97.2 操作演示 NFS GateWay服务安装 管理员账号登录CM，进入HDFS服务实例界面，添加角色实例，选择新添加的NFS GateWay服务并启动 Linux下挂载NFS文件系统 Fayson选择集群任意节点（ip-186-31-21-45.ap-southeast-1.compute.internal）进行NFS挂载 登录186.31.21.45服务，安装NFS依赖包 [ec2-user@ip-186-31-21-45 ~
通过NFSv3挂载HDFS到本地目录 -- 3性能测试结果
XuYongshi02的专栏
01-26 1234
HDFS-NFSgatway speed test on AWS VM Backgroud VM type: t2.micro, 1vCPU, 1GB RAM, 8 GBEBS OS: Linux, REHL 6 Test Method dd commard File size 1MBbyte, 5MByte FS
nfs3方式挂载hdfs实现高可用存储
TURING.DT
05-11 4192
因为项目使用NFS共享，但是存在着单点故障，后来发现可以将hdfs目录挂载到本地，ambari HDP支持nfs，照着文档的说明去做，很简单完成了。 1.修改hdfs-site.xm vi /etc/hadoop/conf/hdfs-site.xml 如果没有hdfs-site.xml就找hdfs-default.xml，设置为如下内容，hdp的默认值是0 　　dfs.access
通过NFSv3挂载HDFS到本地目录 -- 2安装配置hdfs-nfs网关
XuYongshi02的专栏
01-25 1663
通过NFSv3挂载HDFS到本地目录  -- 2安装配置hdfs-nfs网关 4. 透过NFS访问hdfs 最重要的参考文档是这篇，来自官方 http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/HdfsNfsGateway.html 当然里面有坑，两个： 一个是需要停止系统的por
通过NFSv3挂载HDFS到本地目录 -- 2续hdfs-nfs网关解决错误
XuYongshi02的专栏
01-25 3103
通过NFSv3挂载HDFS到本地目录  -- 2续hdfs-nfs网关解决错误 4.8 总结 - 主要命令列表 基本顺序如下： cd /home/hdfs/hadoop-2.7.1 sbin/stop-dfs.sh service nfs stop service rpcbind stop sbin/hadoop-daemon.sh --script /home/hdfs
HDFS NFS数据挂载功能
renzhewudi77的博客
12-12 2021
目的：利用NFS，将HDFS底层文件共享到本地操作系统 本篇文章主要介绍HDFS 的NFS网关配置及配置之后读写性能问题，网上有比较多的参考资料，也都很有用。但我在配置过程中，遇到许多其他隐藏的坑，例如，首先我不知道NFS是什么，我就开始配，导致简单的配置出错我都弄了很久。为了让跟我一样的小伙伴们避免踩同样的坑，我从Linux NFS到HDFS NFS配置，再到配置好之后，数据读写性...
hadoop通过NFS3挂载hdfs
chixuegui9567的博客
05-27 486
1、在core-site.xml上添加以下配置，再重启 2、停止系统本身的nfs/rpcbind/portmap服务 service nfs stop service rpcbind stop 注意：rpcbind.socket 端口占用的话 systemctl status ...
使用NFSv3将HDFS挂载到本地
BusyMonkey
09-03 4365
centos7，使用NFSv3将HDFS挂载到本地
Linux NFS 文件共享配置
10-11 672
一、Linux  NFS 文件共享配置 　　以root 身份登陆Linux 服务器，编辑/etc 目录下的共享目录配置文件exports，指定共享目录及权限等。 　　执行如下命令编辑文件/etc/exports： 　　# vi /etc/exports 　　在该文件里添加如下内容： 　　/home/work 192.168.0.*（rw,sync,no_ro
使用NFS网关功能将HDFS挂载到本地系统
qq_65231448的博客
06-30 1090
HDFS提供了基于NFS（Network File System）的插件，可以对外提供NFS网关，供其它系统挂载使用。NFS 网关支持 NFSv3，并允许将 HDFS 作为客户机本地文件系统的一部分挂载，现在支持： 上传、下载、删除、追加内容 如下图，将HDFS挂载为Windows文件管理器的网络位置。
hadoop学习笔记之-NFS配置
我思，故我在！--My data life
03-07 5455
一、实验环境： 系统版本： Red Hat Enterprise Linux Server release 5.6 主机名 别名 IP 系统版本 共享目录/挂载点 hotel01 hotel01.licz.com 192.168.2.111 OEL5.6 共享目录/home/gr
HDFS NFS Gateway
热门推荐
来啊 快活啊
08-21 1万+
HDFS NFS Gateway Overview NFS Gateway支持NFSv3，允许HDFS作为客户端本地文件系统的一部分挂载在本地文件系统。目前，NFS Gateway支持和启用了下面的使用模式： 1.用户可以在基于NFSv3客户端兼容的操作系统上的本地文件系统上浏览HDFS文件系统。 2.用户可以从挂载到本地文件系统的HDFS文件系统上下载文件。 3
Hodoop HDFS NFS GateWay 挂载到其他机器深入详解
铭毅天下Elasticsearch
03-17 4681
0.前提有三台机器：10.0.1.31 为Hadoop NameNode节点机器。 10.1.1.36为Hadoop DataNode节点机器。 10.1.111.13为非Hadoop机器。目前查到的资料里面显示HDFS NFS GateWay的挂载方式为： 参考：https://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-
自动化挂载HDFS文件系统到本地目录
09-25 1493
[Author]: kwu --- 自动化hdfs挂盘
Hadoop 3更新：Hadoop Common与HDFS的新特性解析
"这篇文档是NTT Software Innovation Center的Tsuyoshi Ozawa在2016年Hadoop Summit Tokyo上的演讲稿，主题是‘What’s new in Hadoop Common and HDFS’，主要讨论了Hadoop 3中Common和HDFS模块的新特性。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值