本地mount到hdfs

最新推荐文章于 2023-09-14 15:44:48 发布
最新推荐文章于 2023-09-14 15:44:48 发布
阅读量386 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/y_m_h/article/details/85297836
版权

1. 关闭hdfs机器的portmap和nfs服务

service nfs stop

service rpcbind stop

2. 开启hdfs的portmap和nfs3服务

$HADOOP_HOME/sbin/hadoop-daemon.sh start portmap

$HADOOP_HOME/sbin/hadoop-daemon.sh start nfs3

3. 安装nfs客户端

yum install nfs-utils

4. 挂载

/usr/bin/mount -t nfs -o vers=3,proto=tcp,nolock,noacl,sync $Namenode_IP:/ 本地目录

y_m_h
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hdfs-mount:将HDFS挂载为本地Linux文件系统的工具
03-11
hdfs挂载 允许将远程HDFS挂载为本地Linux文件系统，并允许任意应用程序/ Shell脚本以有效且安全的方式将HDFS作为普通文件和目录进行访问。 功能（计划中） 高性能 使用协议缓冲区直接为FUSE和HDFS连接Linux内核（不需要JavaVM） 针对吞吐量密集型工作负载进行了设计和优化（在可能的情况下，将吞吐量交换为延迟） 完整的流媒体和自动预读支持 并发操作 内存中元数据缓存（非常快ls！） 高稳定性和强大的故障处理行为 自动重试和故障转移，均可配置 在HDFS可用之前，可选的延迟安装 支持读写 支持随机写入[速度慢，但功能上正确] 支持文件截断 （可选）通过按需提取内容来扩展ZIP存档这为“ HDFS上的数百万个小文件”问题提供了有效的解决方案 CoreOS和Docker友好的可选打包为静态链接的独立可执行文件 当前状态 “阿尔法”正在积极发展中。 基本的R
使用FUSE-DFS Mount HDFS
iteye_17970的博客
10-23 223
原文引自：[url=http://jiangbo.me/blog/2012/10/23/mount-hdfs-with-fuse-dfs/]http://jiangbo.me/blog/2012/10/23/mount-hdfs-with-fuse-dfs/[/url] [size=x-large]介绍[/size] Hadooop源码中自带了contrib/fuse-dfs模块，用于实现...
使用hdfs-mount挂载HDFS
weixin_30911451的博客
05-22 1174
目录 1、特性(计划)简介 2、构建程序 3、使用hdfs-mount挂载HDFS hdfs-mount是一个将HDFS挂载为本地Linux文件系统的工具，使用go语言开发，不依赖libdfs和java虚拟机。它允许将远程HDFS作为本地Linux文件系统挂载，并允许任意...
扩展hadoop hdfs,实现WebDav协议,将hdfs mount为linux本地文件系统
11-18 254
使用hadoop的shell命令进行hdfs的操作十分不方便,最好的办法当然是将hdfs映射为本地文件系统. 而通过实现WebDav Http协议, 结合WebDav的众多客户端,可以将hdfs映射为windows或是linux的本地文件系统.而使用api存储文件时,也将对应用透明,如使用本地文件系统一样使用hdfs.   1.Webdav协议介绍: WebDAV（Web-based Distri...
97.HDFS文件系统挂载
大勇若怯任卷舒
01-25 1886
97.1 演示环境介绍 CM和CDH版本：5.11.2 97.2 操作演示 NFS GateWay服务安装 管理员账号登录CM，进入HDFS服务实例界面，添加角色实例，选择新添加的NFS GateWay服务并启动 Linux下挂载NFS文件系统 Fayson选择集群任意节点（ip-186-31-21-45.ap-southeast-1.compute.internal）进行NFS挂载 登录186.31.21.45服务，安装NFS依赖包 [ec2-user@ip-186-31-21-45 ~
Linux系统设计-hdfs-mount 把hdfs文件系统挂载到Linux本地文件系统,实现了大部分的操作
最新发布
01-10
所有源码均经过严格测试，可以直接运行，可以放心下载使用。有任何使用问题欢迎随时与博主沟通，第一时间进行解答！Linux系统是一个免费使用和自由传播的类Unix操作系统，基于POSIX和UNIX的多用户、多任务、支持多...
hdfs-webdav.rar_hadoop_hadoop webdav_hadoop 系统_hadoop2.0 d_hdfs
09-20
描述中提到“将Hadoop分布式文件系统以NFS形式进行挂载”，这指的是使用Network File System (NFS)协议将HDFS挂载到本地文件系统或远程服务器上。NFS是一种广泛使用的协议，它允许不同操作系统之间的文件共享。通过...
如何编译fuse-dfs
04-26
完成上述步骤后，就可以将HDFS挂载到本地文件系统上了。 1. 进入`$HADOOP_HOME/build/contrib/fuse_dfs`目录。 2. 执行挂载命令。 ```bash ./fuse_dfs_wrapper.sh dfs://namenodeIP地址:9000/mnt/dfs ``` 其中`...
hadoop迁移数据应用实例详解
10-16
- `hadoop fs -put readme.txt /user/hadoop/test/`：将本地的`readme.txt`文件上传到HDFS的`/user/hadoop/test/`目录。 - `hadoop fs -get / /hadoop_data`：将HDFS根目录下的所有内容导出到本地的`/hadoop_data`...
hdfs mount为linux本地文件系统
zhengzhuangjie的博客
03-21 446
1、软件下载 hdfs-webdav.war http://code.google.com/p/hdfs-webdav/downloads/list 把war包放到tomcat下面，启动tomcat会自动解压该war包，在/usr/tomcat6/webapps/hdfs-webdav/linux_mount_lib/目录下有fuse-2.7.4.tar.gz和neon-0.28.3.tar...
企业运维实战--Hadoop学习（一）-- linux下HDFS的搭建、hadoop实现主从复制
Rabbit_hyl的博客
07-09 329
企业运维实战--Hadoop学习（一）--linux下HDFS的搭建、hadoop实现主从复制一、Hadoop搭建与配置二、网络文件系统nfs实现hadoop从机同步主机 一、Hadoop搭建与配置 环境准备：三台纯净的虚拟机，server1负责hadoop主节点配置，server2、server3待定。 安装包准备： hadoop安装包，官网可下载 jdk tar包 在server1中创建hadoop用户，将安装包scp到该用户家目录中 解压安装包，设软链接方便使用 tar zxf hadoop-3
Linux挂载共享文件夹（VMware挂载共享文件夹）（挂载hgfs共享文件）
热门推荐
hcu5555的专栏
07-07 1万+
kali2020已经自带vmware-tools工具，因此，只要是原装的kali2020是不需要继续安装vmhgfs工具的 首先表明下，我的环境是VMware虚拟机安装kali2020。在VMware设置共享文件夹的步骤省略。可参考下面参考文档。 详细步骤如下 1、使用vmware-hgfsclient命令查看共享的文件夹 root@kali:/mnt/hgfs# vmware-hgfsclient kali_share 显示我的共享文件夹是kali_share 2、使用vmhgfs-fuse命令
解决 /mnt中有hgfs但没共享文件的方法
E梦电子--whble
10-21 3645
一、首先是安装VMWare tools 1、以ROOT身份进入LINUX 2、在虚拟机软件VMWARE状态栏中，点击 SETTING菜单下的ENABLE VMWARE TOOLS子菜单，此时在linux的/media/下会出现一个新文件夹，把vmware-linux-tools.tar.gz（具体名字已经忘了，大概就是这个）拷贝到临时文件夹 3、使用命令解压它： tar zxf vmware
vmare 虚拟机 /mnt/hgfs 目录下不显示共享文件夹的处理办法
夏天的风的专栏
08-01 2447
普通用户执行以下命令即可： sudo mount -t fuse.vmhgfs-fuse .host:/ /mnt/hgfs -o allow_other
linux下的mnt/hgfs/的共享目录无法出现的解决方案
学历只能代表过去，能力代表着现在，而学习代表的是未来。
11-12 1998
若/mnt/hgfs下无目录解决办法：  1.    sudo apt-get install open-vm-dkms   一路按enter键通过。  2.   sudo mount  -t  vmhgfs  .host:/   /mnt/hgfs 这样/mnt/hgfs下便有了与windows的共享目录。  3. 为了每次开机自动挂载共享目录，在/etc/init.d
VMware上的centos7挂载共享文件夹报错，mount: 未知的文件系统类型“vmhgfs”
qq_45560958的博客
09-14 1283
菜单栏 -> 虚拟机 -> 设置 -> 选项 -> 共享文件夹 -> 总是启用 -> 添加（我挂载的共享文件夹为本地的Ubuntu18和shareDocker） ->确定。首先要确保VMware虚拟机上进行了正确的共享文件夹设置，操作如下。注：挂载成功之前我还执行了下方的三个命令，不知道有没有影响。mount: 未知的文件系统类型“vmhgfs”然后进入虚拟机中的命令行。
HDFS NFS数据挂载功能
renzhewudi77的博客
12-12 1972
目的：利用NFS，将HDFS底层文件共享到本地操作系统 本篇文章主要介绍HDFS 的NFS网关配置及配置之后读写性能问题，网上有比较多的参考资料，也都很有用。但我在配置过程中，遇到许多其他隐藏的坑，例如，首先我不知道NFS是什么，我就开始配，导致简单的配置出错我都弄了很久。为了让跟我一样的小伙伴们避免踩同样的坑，我从Linux NFS到HDFS NFS配置，再到配置好之后，数据读写性...
通过NFSv3挂载HDFS到本地目录
Keep Learning!!!
01-14 359
1.1 配置 编辑$HADOOP_HOME/etc/hadoop/hdsf-site.xml文件，增加如下配置： <property> <name>dfs.access.time.precision</name> <value>3600000</value> <description>The access time ...
通过NFSv3挂载HDFS到本地目录 -- 2续hdfs-nfs网关解决错误
XuYongshi02的专栏
01-25 3080
通过NFSv3挂载HDFS到本地目录  -- 2续hdfs-nfs网关解决错误 4.8 总结 - 主要命令列表 基本顺序如下： cd /home/hdfs/hadoop-2.7.1 sbin/stop-dfs.sh service nfs stop service rpcbind stop sbin/hadoop-daemon.sh --script /home/hdfs
上传本地文件到hdfs
05-27
要将本地文件上传到HDFS，可以使用以下命令： ``` hdfs dfs -put /path/to/local/file /path/to/hdfs/directory ``` 其中，`/path/to/local/file` 是本地文件的路径，`/path/to/hdfs/directory` 是要上传到的HDFS...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值