linux进入hdfs目录,fuse挂载hdfs目录到linux本地

1,安装fuse

yum -y install hadoop-hdfs-fuse

2.修改环境变量

vi /etc/profile

增加如下配置：

JAVA_HOME=/usr/jdk64/jdk1.8.0_60

HADOOP_HOME=/usr/hdp/2.4.0.0-169/hadoop

export PATH=$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

export LD_LIBRARY_PATH=/usr/hdp/2.4.0.0-169/usr/lib/:/usr/local/lib:/usr/lib:$LD_LIBRARY_PATH:$HADOOP_HOME/build/c++/Linux-amd64-64/lib:${JAVA_HOME}/jre/lib/amd64/server

3.创建挂载点 (要挂载到linux的本地目录)

mkdir /hdfs

4.挂载

方法一：hadoop-fuse-dfs dfs://ocdp /hdfs

[root@vmocdp125 lib]# hadoop-fuse-dfs dfs://ocdp /hdfs

INFO /grid/0/jenkins/workspace/HDP-build-centos6/bigtop/build/hadoop/rpm/BUILD/hadoop-2.7.1.2.4.0.0-src/hadoop-hdfs-project/hadoop-hdfs/src/main/native/fuse-dfs/fuse_options.c:164 Adding FUSE arg /hdfs

”ocdp“ 为集群的名称,hdfs-site.xml中nameservice的值

方法二：

自动挂载方法：

修改fstab文件：

查看一下：

grep hadoop /etc/fstab

vi /etc/fstab

添加以下信息：

hadoop-fuse-dfs#dfs://ocdp /hdfs fuse usetrash,rw 0 0

自动挂载：

mount -a

5.查看

[root@vmocdp125 bin]# df -h

Filesystem Size Used Avail Use% Mounted on

/dev/mapper/vg_ocdp01-lv_root

50G 14G 34G 29% /

tmpfs 11G 8.0K 11G 1% /dev/shm

/dev/sda1 477M 33M 419M 8% /boot

/dev/mapper/vg_ocdp01-lv_home

948G 674M 900G 1% /home

fuse_dfs 337G 3.3G 334G 1% /hdfs

进入挂载目录可查看到hdfs上的文件夹都在挂载点/hdfs下

[root@vmocdp125 bin]# cd /hdfs

[root@vmocdp125 hdfs]# ll

total 52

drwxrwxrwx 5 yarn hadoop 4096 Oct 12 16:11 app-logs

drwxr-xr-x 4 hdfs hdfs 4096 Sep 14 20:09 apps

drwxr-xr-x 4 yarn hadoop 4096 Sep 14 19:48 ats

drwxr-xr-x 4 flume hdfs 4096 Oct 31 18:55 flume

drwxr-xr-x 3 ocetl hdfs 4096 Oct 13 14:52 ftp

drwxr-xr-x 3 hdfs hdfs 4096 Sep 14 19:48 hdp

drwxr-xr-x 3 ocetl hdfs 4096 Oct 21 16:05 hiveQuery

drwxrwxrwx 4 ocetl hdfs 4096 Oct 18 17:45 home

drwxr-xr-x 3 mapred hdfs 4096 Sep 14 19:48 mapred

drwxrwxrwx 4 mapred hadoop 4096 Sep 14 19:48 mr-history

drwxrwxrwx 46 spark hadoop 4096 Nov 1 18:26 spark-history

drwxrwxrwx 9 hdfs hdfs 4096 Oct 14 17:22 tmp

drwxr-xr-x 9 hdfs hdfs 4096 Oct 11 16:54 user

问题：

1..出现"error while loading shared libraries: libjvm.so: cannot open shared object file: No such file or directory"错误，是由于环境变量配置的有问题。

可能没有配置 export  LD_LIBRARY_PATH=""

所以在本地/etc/profile文件中把fuse共享库与java共享库加上去就可以了

2.出现"error while loading shared libraries: libhdfs.so.0.0.0: cannot open shared object file: No such file or directory"错误

查找libhdfs.so.0.0.0所在的目录：find / -name  libhdfs.so.0.0.0

加入到LD_LIBRARY_PATH中

export LD_LIBRARY_PATH=/usr/hdp/2.4.0.0-169/usr/lib/:/usr/local/lib:/usr/lib:$LD_LIBRARY_PATH:$HADOOP_HOME/build/c++/Linux-amd64-64/lib:${JAVA_HOME}/jre/lib/amd64/server

3.hadoop-fuse-dfs  cmmand  not  found

安装hadoop-fuse-dfs后HADOOP_HOME的bin目录下有个hadoop-fuse-dfs可执行文件，找不到这个命令是因为没有把HADOOP_HOME加入到PATH中

在PATH中增加$HADOOP_HOME/bin:

Linux使用sshfs挂载远程目录到本地

1安装sshfs [root@iZwz9hy7gff0kpg1swp1d3Z ~]# yum install sshfs 2创建本地目录 [root@iZwz9hy7gff0kpg1swp1d3Z ~ ...

Linux安装sshfs挂载远程目录到本地及卸载

挂载远程目录的方式很多,这里把sshfs记录一下备忘.Linux用sshfs挂载远程目录到本地 安装sshfs 在Ubuntu下,只需要使用 $ sudo apt-get install sshfs ...

Ubuntu下使用sshfs挂载远程目录到本地(和Windows挂载盘一样)

访问局域网中其他Ubuntu机器,在不同机器间跳来跳去,很是麻烦,如果能够把远程目录映射到本地无疑会大大方面使用,就像Windows下的网络映射盘一样.在Linux的世界无疑也会有这种机制和方式,最近 ...

Ubuntu下使用sshfs挂载远程目录到本地

访问局域网中其他Ubuntu机器,在不同机器间跳来跳去,很是麻烦,如果能够把远程目录映射到本地无疑会大大方面使用,就像Windows下的网络映射盘一样.在Linux的世界无疑也会有这种机制和方式,最近 ...

linux使用windows磁盘，挂载共享目录

实例说明:客户两台服务器,一台web服务器(linux)只有50G,课程资源太多太大导致磁盘不够用:客户的文档服务器(windows)磁盘很大超过1T,所以产生了,将web资源使用文档服务器磁盘的想法 ...

linux 新添加的硬盘格式化并挂载到目录下

需求: 新增加一块硬盘sdb,将sdb分区,只分一个区,格式化,挂载到目录/ssd下. 1.  查看现在已有的分区状态 # df –l 图中显示,没有看到sdb硬盘 2.  查看服务器安装的硬盘状态( ...

linux 新添加的硬盘格式化并挂载到目录下方法

需求: 新增加一块硬盘sdb,将sdb分区,只分一个区,格式化,挂载到目录/ssd下.原文:https://www.cnblogs.com/ddbear/p/7009736.html 1.  查看现在 ...

使用hdfs-mount挂载HDFS

目录 1.特性(计划)简介 2.构建程序 3.使用hdfs-mount挂载HDFS hdfs-mount是一个将HDFS挂载为本地Linux文件系统的工具,使用go语言开发,不依赖libdfs和jav ...

如何用ssh挂载远程目录

如何用ssh挂载远程目录 标签: sshserver服务器linux网络 2011-06-24 10:05 2979人阅读 评论(0) 收藏 举报 版权声明:本文为博主原创文章,未经博主允许不得转载. ...

随机推荐

Linux实战教学笔记07:Linux系统目录结构介绍

第七节 Linux系统目录结构介绍 标签(空格分隔):Linux实战教学笔记 第1章 前言 windows目录结构 C:\windows D:\Program Files E:\你懂的\精品 F:\你 ...

C语言中执行到预编译

在Linux中,执行命令:gcc -o linux.i linux.c -E

java获取每个月的最后一天

package timeUtil; import java.text.SimpleDateFormat; import java.util.Calendar; public class LastDay ...

Splitter

PDemo

UartDma工作方式

一.初始化 1.初始化串口,时钟 MX_USART1_UART_Init(); 串口时钟初始化为内部时钟 PeriphClkInit.Usart1ClockSelection = RCC_USART1 ...

linux环境下java读取sh脚本并执行

Process process;           String cmd = "/home/ty/t.sh";//这里必须要给文件赋权限 chmod u+x fileName; ...

mybatis插入实体到数据库后获取自增的主键

话不多说,直接说方法. 1.在insert语句中加入如下的代码.