1,安装fuse
yum -y install hadoop-hdfs-fuse
2.修改环境变量
vi /etc/profile
增加如下配置:
JAVA_HOME=/usr/jdk64/jdk1.8.0_60
HADOOP_HOME=/usr/hdp/2.4.0.0-169/hadoop
export PATH=$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
export LD_LIBRARY_PATH=/usr/hdp/2.4.0.0-169/usr/lib/:/usr/local/lib:/usr/lib:$LD_LIBRARY_PATH:$HADOOP_HOME/build/c++/Linux-amd64-64/lib:${JAVA_HOME}/jre/lib/amd64/server
3.创建挂载点 (要挂载到linux的本地目录)
mkdir /hdfs
4.挂载
方法一:hadoop-fuse-dfs dfs://ocdp /hdfs
[root@vmocdp125 lib]# hadoop-fuse-dfs dfs://ocdp /hdfs
INFO /grid/0/jenkins/workspace/HDP-build-centos6/bigtop/build/hadoop/rpm/BUILD/hadoop-2.7.1.2.4.0.0-src/hadoop-hdfs-project/hadoop-hdfs/src/main/native/fuse-dfs/fuse_options.c:164 Adding FUSE arg /hdfs
”ocdp“ 为集群的名称,hdfs-site.xml中nameservice的值
方法二:
自动挂载方法:
修改fstab文件:
查看一下:
grep hadoop /etc/fstab
vi /etc/fstab
添加以下信息:
hadoop-fuse-dfs#dfs://ocdp /hdfs fuse usetrash,rw 0 0
自动挂载:
mount -a
5.查看
[root@vmocdp125 bin]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/vg_ocdp01-lv_root
50G 14G 34G 29% /
tmpfs 11G 8.0K 11G 1% /dev/shm
/dev/sda1 477M 33M 419M 8% /boot
/dev/mapper/vg_ocdp01-lv_home
948G 674M 900G 1% /home
fuse_dfs 337G 3.3G 334G 1% /hdfs
进入挂载目录可查看到hdfs上的文件夹都在挂载点/hdfs下
[root@vmocdp125 bin]# cd /hdfs
[root@vmocdp125 hdfs]# ll
total 52
drwxrwxrwx 5 yarn hadoop 4096 Oct 12 16:11 app-logs
drwxr-xr-x 4 hdfs hdfs 4096 Sep 14 20:09 apps
drwxr-xr-x 4 yarn hadoop 4096 Sep 14 19:48 ats
drwxr-xr-x 4 flume hdfs 4096 Oct 31 18:55 flume
drwxr-xr-x 3 ocetl hdfs 4096 Oct 13 14:52 ftp
drwxr-xr-x 3 hdfs hdfs 4096 Sep 14 19:48 hdp
drwxr-xr-x 3 ocetl hdfs 4096 Oct 21 16:05 hiveQuery
drwxrwxrwx 4 ocetl hdfs 4096 Oct 18 17:45 home
drwxr-xr-x 3 mapred hdfs 4096 Sep 14 19:48 mapred
drwxrwxrwx 4 mapred hadoop 4096 Sep 14 19:48 mr-history
drwxrwxrwx 46 spark hadoop 4096 Nov 1 18:26 spark-history
drwxrwxrwx 9 hdfs hdfs 4096 Oct 14 17:22 tmp
drwxr-xr-x 9 hdfs hdfs 4096 Oct 11 16:54 user
问题:
1..出现"error while loading shared libraries: libjvm.so: cannot open shared object file: No such file or directory"错误,是由于环境变量配置的有问题。
可能没有配置 export LD_LIBRARY_PATH=""
所以在本地/etc/profile文件中把fuse共享库与java共享库加上去就可以了
2.出现"error while loading shared libraries: libhdfs.so.0.0.0: cannot open shared object file: No such file or directory"错误
查找libhdfs.so.0.0.0所在的目录:find / -name libhdfs.so.0.0.0
加入到LD_LIBRARY_PATH中
export LD_LIBRARY_PATH=/usr/hdp/2.4.0.0-169/usr/lib/:/usr/local/lib:/usr/lib:$LD_LIBRARY_PATH:$HADOOP_HOME/build/c++/Linux-amd64-64/lib:${JAVA_HOME}/jre/lib/amd64/server
3.hadoop-fuse-dfs cmmand not found
安装hadoop-fuse-dfs后HADOOP_HOME的bin目录下有个hadoop-fuse-dfs可执行文件,找不到这个命令是因为没有把HADOOP_HOME加入到PATH中
在PATH中增加$HADOOP_HOME/bin:
Linux使用sshfs挂载远程目录到本地
1安装sshfs [root@iZwz9hy7gff0kpg1swp1d3Z ~]# yum install sshfs 2创建本地目录 [root@iZwz9hy7gff0kpg1swp1d3Z ~ ...
Linux安装sshfs挂载远程目录到本地及卸载
挂载远程目录的方式很多,这里把sshfs记录一下备忘.Linux用sshfs挂载远程目录到本地 安装sshfs 在Ubuntu下,只需要使用 $ sudo apt-get install sshfs ...
Ubuntu下使用sshfs挂载远程目录到本地(和Windows挂载盘一样)
访问局域网中其他Ubuntu机器,在不同机器间跳来跳去,很是麻烦,如果能够把远程目录映射到本地无疑会大大方面使用,就像Windows下的网络映射盘一样.在Linux的世界无疑也会有这种机制和方式,最近 ...
Ubuntu下使用sshfs挂载远程目录到本地
访问局域网中其他Ubuntu机器,在不同机器间跳来跳去,很是麻烦,如果能够把远程目录映射到本地无疑会大大方面使用,就像Windows下的网络映射盘一样.在Linux的世界无疑也会有这种机制和方式,最近 ...
linux使用windows磁盘,挂载共享目录
实例说明:客户两台服务器,一台web服务器(linux)只有50G,课程资源太多太大导致磁盘不够用:客户的文档服务器(windows)磁盘很大超过1T,所以产生了,将web资源使用文档服务器磁盘的想法 ...
linux 新添加的硬盘格式化并挂载到目录下
需求: 新增加一块硬盘sdb,将sdb分区,只分一个区,格式化,挂载到目录/ssd下. 1. 查看现在已有的分区状态 # df –l 图中显示,没有看到sdb硬盘 2. 查看服务器安装的硬盘状态( ...
linux 新添加的硬盘格式化并挂载到目录下方法
需求: 新增加一块硬盘sdb,将sdb分区,只分一个区,格式化,挂载到目录/ssd下.原文:https://www.cnblogs.com/ddbear/p/7009736.html 1. 查看现在 ...
使用hdfs-mount挂载HDFS
目录 1.特性(计划)简介 2.构建程序 3.使用hdfs-mount挂载HDFS hdfs-mount是一个将HDFS挂载为本地Linux文件系统的工具,使用go语言开发,不依赖libdfs和jav ...
如何用ssh挂载远程目录
如何用ssh挂载远程目录 标签: sshserver服务器linux网络 2011-06-24 10:05 2979人阅读 评论(0) 收藏 举报 版权声明:本文为博主原创文章,未经博主允许不得转载. ...
随机推荐
用Filter程序实现静态HTML页面的访问保护
今天为练习Filter的用法编写了一个小程序. 当用户通过article的超链接读取文章的时候,会通过Filter进行检测有没有登录.只有登录的读者才能跳到文章页面,否则跳到登录页面. 文章就用简单的 ...
PHP自动添加http://头 转换网址为链接
有时候,当我们需要用户输入网址的时候,一般我们会让用户省略掉"http://",当提交完成后用代码自动再加上http://,若有需要,我们 还可将网址转换成链接的形式,类似于众多网 ...
ural 1671 Anansi's Cobweb
这道题是并差集的简单应用 #include #include #include #define max ...
ICE第四篇-----python版本
ice文件: module Modipplace { interface Ipplace{ string iptoplace(string s); }; }; ...
sublime将python的运行结果在命令行显示
sublime将python的运行结果在命令行显示 为什么这么折腾? 因为每次查看输出结果都要上下拖动窗口,很烦. 将build system修改为 { "cmd": [" ...
Selenium:WebDriver简介及元素定位
参考内容:官方API文档,下载链接:http://download.csdn.net/detail/kwgkwg001/4004500 虫师:
Linux磁盘和文件系统简介
Linux磁盘和文件系统简介 1.文件系统:存储设备上存储数据的方式方法 磁盘主要由盘片.机械手臂.磁头和主轴马达组成,而数据的写入实际是写在盘片上,磁盘的最小存储单位为扇区,每个扇区为512字节,扇 ...
Shell脚本,更改Info.plist中的日期等
#!/bin/bashroot_src=$(dirname $(PWD)) bundle_name='RandomDebbot.bundle' target_path=$root_src/ecovac ...
原创工具binlog2sql:从MySQL binlog得到你要的SQL
从MySQL binlog得到你要的SQL.根据不同设置,你可以得到原始SQL.回滚SQL.去除主键的INSERT SQL等. 用途 数据回滚 主从切换后数据不一致的修复 从binlog生成标准SQL ...
【zabbix 监控】第二章 安装测试被监控主机
客户端安装测试 一.准备两台被监控主机,分别做如下操作: web129:192.168.19.129 web130:192.168.19.130 [root@web129 ~]#yum -y inst ...