前言:上一章节大致介绍了一下hadoop框架的三个重要组成部分,从这一章节开始一次详细介绍。
一、HDFS简介
是hadoop核心组成,分布式存储服务。
分布式文件系统横跨多台计算机,在大数据时代有着广泛的应用前景,它们为存储和处理超大规模数据提供所需的扩展能力。
HDFS是分布式文件系统中的一种。
二、HDFS重要概念
HDFS通过通过统一的命名空间目录树来定位文件。另外,它是分布式的,由很多服务器联合起来实现其功能,集群中的服务器由各自的角色(分布式的本质是拆分,各司其职)。
典型的Master/Slave架构:
HDFS 的架构是典型的 Master/Slave 结构。
HDFS集群往往是一个NameNode(HA架构会有两个NameNode,联邦机制)+多个DataNode组成;
NameNode是集群的主节点,DataNode是集群的从节点。
分块存储(block机制):
HDFS中的文件物理上是分块(block)存储的,块的大小可以通过参数配置。
hadoop2.x版本中块的大小默认是128M。
命名空间(namespace):
HDFS 支持传统的层次型文件组织结构。
Namenode 负责维护文件系统的名字空间,任何对文件系统名字空间或属性的修改都将被Namenode 记录下来。
HDFS提供给客户单一个抽象目录树,访问形式:hdfs://namenode的hostname:port/test/input
hdfs://linux121:9000/test/input
NameNode元数据管理:
把目录结构及文件分块位置信息叫做元数据。
NameNode的元数据记录着每一个文件所对应的block信息(block的id,以及block所在DataNode节点的信息)。
DataNode数据存储:
文件的各个block的具体存储管理由DataNode节点承担。一个block会有多个DataNode存储,DataNode会定期向NameNode汇报自己持有的block信息。
副本机制:
为了容错,文件的每个block都会有副本。每个文件的block大小和副本系数都是可以配置的。副本系数可以在创建的时候指定,也可以在之后改变。默认是3个。
一次写入,多次读出:
HDFS是设计成适合一次写入,多次读出的场景。且不支持文件的随机修改。(支持追加写入,不支持随机更新)
正因如此,HDFS适合做大数据分析的底层存储服务,并不适合用来做网盘等服务(原因是修改不方便,延迟大、网络开销大、成本太高)。
三、HDFS框架 ![](https://i-blog.csdnimg.cn/blog_migrate/2db9d3d08e6f47a405c57d4ee596be5e.png)
我觉得这部分叙述已经在上面重复过N+次了。。。
NameNode(nn):Hdfs集群的管理者,Master
维护管理Hdfs的名称空间(NameSpace)
维护副本策略
记录文件块(Block)的映射信息
负责处理客户端读写请求
DataNode:NameNode下达命令,DataNode执行实际操作,Slave节点。
保存实际的数据块
负责数据块的读写
Client:客户端
上传文件到HDFS的时候,Client负责将文件切分成Block,然后进行上传
请求NameNode交互,获取文件的位置信息
读取或写入文件,与DataNode交互
Client可以使用一些命令来管理HDFS或者访问HDFS
四、HDFS客户端操作
4.1 Shell命令操作HDFS
基本语法:hadoop fs 具体命令 OR hdfs dfs 具体命令
其中具体命令 = (-linux具体命令)
部分语法演示:
-moveFromLocal:从本地剪切粘贴到HDFS
hadoop fs -moveFromLocal ./hadoop.txt /lg/bigdata
-appendToFile:追加一个文件到已经存在的文件末尾
hadoop fs -appendToFile hdfs.txt /lagou/bigdata/hadoop.txt
-copyFromLocal:从本地文件系统中拷贝文件到HDFS路径去
hadoop fs -copyFromLocal README.txt /
-copyToLocal:从HDFS拷贝到本地
hadoop fs -copyToLocal /lagou/bigdata/hadoop.txt ./
-get:等同于copyToLocal,就是从HDFS下载文件到本地
hadoop fs -get /lagou/bigdata/hadoop.txt ./
-put:等同于copyFromLocal
hadoop fs -put ./yarn.txt /user/root/test/
-du统计文件夹的大小信息
hadoop fs -du -h /user/root/test
-setrep:设置HDFS中文件的副本数量
hadoop fs -setrep 10 /lagou/bigdata/hadoop.txt
如果此处设置的副本数量大于datanode数量,则以datanode数量为准。