几种访问HDFS文件的客户端的总结

最新推荐文章于 2024-04-04 15:32:00 发布
最新推荐文章于 2024-04-04 15:32:00 发布
阅读量1.7k 收藏 5
点赞数 1
文章标签： 大数据 shell ui
原文链接：http://www.cnblogs.com/tesla-turing/p/11488100.html
版权

HDFS是英文Hadoop Distributed File System的缩写，中文翻译为Hadoop分布式文件系统，它是实现分布式存储的一个系统，所以分布式存储有的特点，HDFS都会有，HDFS的架构图：

 

 上图中HDFS的NameNode其实就是对应着分布式存储的Storage master，主要是用来存储元数据的，根据这些元数据就可以管理所有的机器节点和数据块

HDFS的DataNodes其实就是对应着分布式存储的 Storage slaves，主要就是真正存储数据的
在HDFS中，一个大文件会被分成若干个数据块，所有的数据块都是分布式的存储在多个DataNode上。每个数据块都可以备份多个以提高数据块的高可用性，上图的 Replication就是表示数据块的备份
上图的Rack是机架的意思，也就是说机器可以放在不同的机架上
上图还有一个 Client，这个其实就是使用HDFS的客户端，这个客户端可以做如下的操作：
  1. 操作NameNode上的元数据
  2. 向DataNode上写数据
  3. 向DataNode上读数据
这个 Client可以有很多种，： HDFS WEB UI、 HDFS Shell命令以及 Http方式访问HDFS。我们来分别总结下。
在安装HDFS的时候，除了NameNode和DataNode两个角色外，我们还发现有一个SecondaryNameNode，这个角色主要是为了提高NameNode的性能而存在的，我们后面会详细讲解
HDFS WEB UI
当我们启动HDFS集群后，然后通过 http://master:50070/去访问HDFS WEB UI的时候，我们会经常使用 Utilities下的 Browse the file system去查看HDFS中的文件，如下：

 

然后就会出现HDFS中的根目录下所有的文件：

 

 上面的方式是我们常见的访问HDFS文件的方式之一，这种使用的方式也是很方便的。

 
当我们启动HDFS集群后，我们可以通过 http://master:50070来访问HDFS集群，其中， master是 NameNode所在机器的名称。下面的就是HDFS WEB UI的七个大模块：
 

 

 这篇文章，我们重点分别来详细看一下Overview、Datanodes以及Utilities三个模块

Overview

 

 

 

  • 第1处的master:9999表示当前HDFS集群的基本路径。这个值是从配置core-site.xml中的fs.defaultFS获取到的。
  • 第2处的Started表示集群启动的时间
  • 第3处的Version表示我们使用的Hadoop的版本，我们使用的是2.7.5的Hadoop
  • 第4处的Compiled表示Hadoop的安装包(hadoop-2.7.5.tar.gz)编译打包的时间，以及编译的作者等信息
  • 第5处的Cluster ID表示当前HDFS集群的唯一ID
  • 第6处的Block Pool ID表示当前HDFS的当前的NameNode的ID，我们知道通过HDFS Federation （联盟）的配置，我们可以为一个HDFS集群配置多个NameNode，每一个NameNode都会分配一个Block Pool ID

Summary

 

 

 

  • 第1处的Security is off表示当前的HDFS集群没有启动安全机制
  • 第2处的Safemode is off表示当前的HDFS集群不在安全模式，如果显示的是Safemode is on的话，则表示集群处于安全模式，那么这个时候的HDFS集群是不能用的
  • 第3处表示当前HDFS集群包含了3846个文件或者目录，以及1452个数据块，那么在NameNode的内存中肯定有3846 + 1452 = 5298个文件系统的对象存在
  • 第4处表示NameNode的堆内存(Heap Memory)是312MB，已经使用了287.3MB，堆内存最大为889MB，对
  • 第5处表示NameNode的非堆内存的使用情况，有效的非堆内存是61.44MB，已经使用了60.36MB。没有限制最大的非堆内存，但是非堆内存加上堆内存不能大于虚拟机申请的最大内存(默认是1000M)
  • 第6处的Configured Capacity表示当前HDFS集群的磁盘总容量。这个值是通过：Total Disk Space - Reserved Space计算出来的。Total Disk Space表示所在机器所在磁盘的总大小，而Reserved Space表示一个预留给操作系统层面操作的空间。Reserved space空间可以通过dfs.datanode.du.reserved(默认值是0)在hdfs-site.xml文件中进行配置。我们这边的总容量为什么是：33.97GB呢，我们可以通过du -h看一下两个slave的磁盘使用情况，如下：

 

 

上面 17GB + 17GB = 34GB，而且我们没有配置 Reserved Space，所以HDFS总容量就是 33.97GB(有一点点的误差可以忽略)
  • 第7处DFS Used表示HDFS已经使用的磁盘容量，说白了就是HDFS文件系统上文件的总大小(包含了每一个数据块的副本的大小)
  • 第8处Non DFS Used表示在任何DataNodes节点上，不在配置的dfs.datanode.data.dir里面的数据所占的磁盘容量。其实就是非HDFS文件占用的磁盘容量
配置 dfs.datanode.data.dir就是DataNode数据存储的文件目录
  • 第9处DFS Remaining = Configured Capacity - DFS Used - Non DFS Used。这是HDFS上实际可以使用的总容量
  • 第10处Block Pool Used表示当前的Block Pool使用的磁盘容量
  • 第11处DataNodes usages%表示所有的DataNode的磁盘使用情况(最小/平均/最大/方差)
  • 第12处Live Nodes表示存活的DataNode的数量。Decommissioned表示已经下线的DataNode
  • 第13处Dead Nodes表示已经死了的DataNode的数量。Decommissioned表示已经下线的DataNode
  • 第14处Decommissioning Nodes表示正在下线的DataNode的数量。
  • 第15处Total Datanode Volume Failures表示DataNode上数据块的损坏大小
  • 第16处Number of Under-Replicated Blocks表示没有达到备份数要求的数据块的数量
  • 第17处Number of Blocks Pending Deletion表示正要被删除的数据块
  • 第18处Block Deletion Start Time表示可以删除数据块的时间。这个值等于集群启动的时间加上配置dfs.namenode.startup.delay.block.deletion.sec的时间，其中配置dfs.namenode.startup.delay.block.deletion.sec默认是0秒
Datanodes

 

 上面有一个Admin State我们有必要说明下，Admin State可以取如下的值：

  1. In Service，表示这个DataNode正常
  2. Decommission In Progress，表示这个DataNode正在下线
  3. Decommissioned，表示这个DataNode已经下线
  4. Entering Maintenance，表示这个DataNode正进入维护状态
  5. In Maintenance，表示这个DataNode已经在维护状态

 

 我们这里详细总结下Browse the file system，对于Logs我们在HDFS日志的查看总结中讲解

当我们点击 Browse the file system时，我么会进入到如下的界面：

 

上图每一个字段的解释如下：
  • Permission：表示该文件或者目录的权限，和Linux的文件权限规则是一样的
  • Owner：表示该文件或者目录的所有者
  • Group：表示该文件或者目录的所有者属于的组
  • Size：表示该文件或者目录的大小，如果是目录的话则一直显示0B
  • Last Modified：表示该文件或者目录的最后修改时间
  • Replication：表示该文件或者目录的备份数，如果是目录的话则一直显示0
  • Block Size：表示该文件的数据块的大小，如果是目录的话则一直显示0B
  • Name：表示文件或者目录的名字
我们可以通过鼠标点击 Name来访问对应的文件目录或者文件：
当我们访问的是目录的时候，则是去查看该目录下有哪些子文件或者子目录。
当我们访问的是文件的时候，我们查看的是文件的详细信息，比如，我们访问文件 /user/omneo.csv文件：

 

 

注意：如果你的文件非常大的时候，不建议点击 Download连接，因为你的电脑会卡死的
HDFS Shell命令
HDFS提供了和Linux类似的命令来访问文件系统，比如在Linux中想看下文件目录 /home/hadoop-twq/test中有哪些文件，我们可以执行： 
ls /home/hadoop-twq/test

　　

那么在HDFS中也存在 ls命令查看某个文件目录中有哪些文件，比如： 
hadoop fs -ls hdfs://master:9999/user/hadoop-twq/test

　　

当然，我们也可以将 hdfs://master:9999去掉，如下： 
hadoop fs -ls /user/hadoop-twq/test

　　

那为什么可以去掉呢？因为当我们执行hadoop fs的命令的时候，程序会自动去Hadoop的配置 core-site.xml中读取配置 fs.defaultFS的值 
## hdfs dfs效果和hadoop fs的效果是一模一样的
hdfs dfs -ls hdfs://master:9999/user/hadoop-twq/test

　　

HDFS文件恢复机制
有一个命令我们得特别强调下，那么就是 rm的命令，HDFS中的 rm命令是删除文件的意思，但是用这个命令删除文件的时候并不是真正的删除，而是将文件放到对应的 Trash目录中(其实和window电脑的回收站是一样的意思)，但是这个 Trash机制默认不是打开的，我们需要在 core-site.xml中打开如下的配置： 
<!--单位是：分钟。默认值是0，表示禁用Trash机制-->
<!--下面的意思是保存删除的文件在.Trash文件目录中5分钟-->
<property>
<name>fs.trash.interval</name>
<value>5</value>
</property>

　　

 
 
那么在一个HDFS文件被删除后，5分钟之内还是可以从Trash目录中恢复出来的。比如，我们删除一个文件： 
hadoop fs -rm -r /user/hadoop-twq/cmd-20180326

 

 
那么上面删除的文件就会move到文件目录 hdfs://master:9999/user/hadoop-twq/.Trash/180326230000/user/hadoop-twq/下，保存5分钟，在5分钟之内我们都可以通过下如的命令进行数据的恢复： 
adoop fs -cp hdfs://master:9999/user/hadoop-twq/.Trash/180326230000/user/hadoop-twq/* /user/hadoop-twq

 

 
如果我们确定直接删除文件，并不需要进行保存的话，我们可以选择不保存文件到Trash目录下： 
hadoop fs -rm -r -skipTrash /user/hadoop-twq/cmd-20180326

　　

Http方式访问HDFS
在使用Http访问HDFS之前，我们需要打开webhdfs，可以通过如下的配置打开： 
<!--打开NameNode和DataNode的 WebHDFS (REST API)-->
<!-- 这个参数默认是ture，即默认WebHDFS是打开的-->
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>

　　

 
然后，我们可以在Linux上使用命令 curl通过http url的方式访问HDFS文件，比如： 
curl -i  "http://master:50070/webhdfs/v1/user/hadoop-twq/cmd/error.txt?op=LISTSTATUS"

　　

 
返回的是一个Json，如下： 
HTTP/1.1200 OK
Cache-Control: no-cache
Expires: Sun,27 Jan 201901:03:02 GMT
Date: Sun,27 Jan 201901:03:02 GMT
Pragma: no-cache
Expires: Sun,27 Jan 201901:03:02 GMT
Date: Sun,27 Jan 201901:03:02 GMT
Pragma: no-cache
Content-Type: application/json
Transfer-Encoding: chunked
Server:Jetty(6.1.26)
 
{
"FileStatuses":
{"FileStatus":
[
{
"accessTime":1543310078655,  ## 表示访问时间
"blockSize":134217728,       ## 表示设置的数据块的大小(这里是128M)
"childrenNum":0,             ## 表示含有多少个子文件
"fileId":36514,              ## 唯一ID
"group":"supergroup",        ## 文件所属组
"length":0,                  ## 文件的大小
"modificationTime":1543310078685,     ## 文件修改时间
"owner":"hadoop-twq",        ## 文件所有者
"pathSuffix":"",             ## 路径后缀
"permission":"644",          ## 文件权限
"replication":1,             ## 文件对应的数据块的备份数
"storagePolicy":0,           ## 存储策略
"type":"FILE"                ## 类型，这里是文件
}
]
}
}

　　

 
 
 
 
 
 
 
 
 

 

 

转载于:https://www.cnblogs.com/tesla-turing/p/11488100.html

aohuang8877
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
访问hdfs用到的客户端jar包
11-07
访问hdfs所用到的jar包，全都有。hadoop-hdfs.jar 代码环境配置
本地配置hadoop客户端操作HDFS
Axlsss的博客
11-26 1344
本地配置hadoop客户端操作HDFS
Hdfs的访问方式
chunyi6295的博客
01-08 2204
HDFS --访问(一) Hdfs的访问方式有两种，第一：类似linux命令，hadoop shell。第二：java API方式。 先看第一种。 FS Shell cat chgrp chmod chown copyFromLocal ...
hdfs-client 客户端连接
最新发布
qq_36012085的博客
04-04 374
在pom.xml中导入相关依赖包：hadoop_hdfs,hadoop_common,hadoop_client。在resources中创建log4j.properties文件控制日志数量。在maven resporitry官网。切记：本地目录不能带中文名字会出错。4.在idle创建maven项目。在web_url中验证是否创建。给hdfs目录所有权限可读可写。也可以导入相关日志管理。在项目中创建Java。
hadoop基础：通过 Shell 命令访问 HDFS
m0_58198500的博客
10-24 4274
HDFS Shell 是由一系列类似 Linux Shell 的命令组成的。命令大致可分为操作命令、管理命令、其他命令三类。
访问HDFS常见的客户端
代码星辰的博客
07-28 2718
目录1.HDFS Shell Command2.Java API3.C API libhdfs4.其它访问HDFS的方式4.1.WebHDFS4.2.HttpFS4.3.WebHDFS和HttpFS之间区别 访问HDFS常见的客户端有HDFS Shell Command、Java API、C API libhdfs等等。 1.HDFS Shell Command HDFS Shell Command的操作俗称HDFS命令行操作，其命令类似于Linux的shell对文件的操作，许多命令也与其相似，例如ls、m
HDFS客户端操作
01-20
1. HDFS客户端环境搭建 1.1 安装hadoop 1.安装对应的编译后的hadoop包到非中文路径下 1.1 这里简单阐述一下在搭建环境时为什么hadoop需要重新编译源码 答: hadoop是用java写的，但是某些操作不适合用java实现，...
HDFS客户端工具.rar
11-06
HDFS客户端工具，可以通过操作客户端实现将windows本地资源上传到HDFS，也可以方便的下载、删除等操作。
Impala高性能探秘之HDFS数据访问
02-24
本文主要介绍Impala是如何访问HDFS数据的，Impala访问HDFS包括如下几种类型：1、数据访问（查询）；2、数据写入（插入）；3、数据操作（重命名、移动文件等）。底层存储引擎的处理性能直接决定着SQL查
HDFS文件的查看
05-21
hdfs文件的查看 hdfs fs -cat /文件名
hdfs：HDFS的本机go客户端
02-03
Go的HDFS 这是hdfs的本地golang客户端。 它使用协议缓冲区API直接连接到namenode。 它尝试通过在可能的情况下对stdlib os包进行os.FileInfo来使其成为惯用语言，并从中实现接口，包括os.FileInfo和os.PathError 。 这是实际的样子： client , _ := hdfs . New ( "namenode:8020" ) file , _ := client . Open ( "/mobydick.txt" ) buf := make ([] byte , 59 ) file . ReadAt ( buf , 48847 ) fmt . Println ( string ( buf )) // => Abominable are the tumblers into which he pours his poison. 有关完整的文档，请查阅 。 hdfs二进制 除库外，此存储库还包含HDFS的命令行客户端。 像库一样，它的主要目的是通过启用您喜欢的unix动词来实现惯用语： $ hdfs --help Usage:
Hadoop框架之HDFS的shell操作
12-08
文档对HDFS常用shell命令做了归纳整理，如ls、mkdir、rm等
详解--访问HDFS的几种方式
ASIN的专栏
06-05 2万+
命令行访问hadoop fs -cat /user/hdfs/test_hadoop/data-256M采用上述命令查看文件时，依据hadoop的文件访问策略，hadoop会将距离该节点最近的备份传输过来。若上述文件的其中一个备份存在dn6上，在dn5上运行如上命令，则dn5和dn6的网络IO会增高，同时dn5的硬盘IO会增大，如下所示： 注意：若使用命令hadoop fs -ls /hdfs/t
hdfs客户端操作
zzds111的博客
11-20 868
hdfs客户端操作也就是在idea等环境也可以使用hdfs的一些命令，挑出一些常见的命令列出来： 文件操作 create 写文件 open 读取文件 delete 删除文件 目录操作 mkdirs 创建目录 delete 删除文件或目录 listStatus 列出目录的内容 getFileStatus 显示文件系统的目录和文件的元数据信息 getFileBlockLocations 显示文件存储位置 需要导入的依赖如下： <dependency> <g..
HDFS:3.客户端操作
m0_53336038的博客
09-26 686
HDFS:3.客户端操作
hdfs访问文件
weixin_57638883的博客
01-31 218
import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class Chapter3 { public static void main(String[] args) { ​ try { ​ String filename = “hdfs://localhost:9000/user/hadoop
查看HDFS文件系统数据的三种方法
热门推荐
从菜鸟到菜菜鸟
09-12 4万+
1、使用插件——Hadoop-Eclipse-Plugin 此方法需要借助Eclipse，插件的安装及使用请参考博文使用Eclipse编译运行MapReduce程序_Hadoop2.6.0_Ubuntu/CentOS。 借助Eclipse只能进行简单的HDFS操作，如查看，删除，上传，下载。以下是操作界面： 2、HDFS Web界面 HDFS Web界面上只能查看文件系统数据。网址：h
HDFS查看文件的两种方式
让，
04-29 1万+
why? 文件小：下载下来看可以 文件大：最好终端在线观看 1.localhost：50070 图形化界面 离线查看 可以查看hdfs文件目录的结构，副本数，block大小，文件的大小，但是不能查看文件的内容，要是查看文件的内容的话，得把文件给下载下来 2.通过命令行终端实现在线查看文件内容 ...
操作hdfs api，如果需要访问hdfs，hdfs客户端必须要有hdfs的配置文件
05-05
是的，如果需要使用HDFS API访问HDFS，HDFS客户端必须要有HDFS的配置文件。配置文件包含HDFS集群的主机名、端口号、文件系统路径等信息。在Java程序中，可以通过以下方式加载HDFS配置文件： ```java Configuration conf = new Configuration(); conf.addResource(new Path("/path/to/hdfs-site.xml")); conf.addResource(new Path("/path/to/core-site.xml")); ``` 其中，"/path/to/hdfs-site.xml"和"/path/to/core-site.xml"是HDFS配置文件的路径，可以根据实际情况进行修改。在加载配置文件后，就可以使用HDFS API进行文件读写操作了。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值