大数据之hdfs
毛志荣
推崇用最朴实的语言进行技术传播
展开
-
(1).hdfs特性及适用场景
hdfs是一个分布式文件系统,用于存储文件,通过统一的命名空间——目录树来定位文件,并且是分布式的,由很多服务器联合起来实现其功能,集群中的服务器各自负责角色; 重要特征: 1.HDFS中的文件在物理上是分块存储(block),块的大小可以通过配置参数( dfs.blocksize)来规定,默认大小在hadoop2.x版本中是128M,老版本中是64M 2.HDFS文件系统会给原创 2017-08-26 22:13:36 · 6854 阅读 · 0 评论 -
(2).hdfs的架构设计
hdfs被设计成Master/Slave结构:(1)HDFS集群分为两大角色:NameNode、DataNode (2)NameNode负责管理整个文件系统的元数据 (3)DataNode 负责管理用户的文件数据块 (4)文件会按照固定的大小(blocksize)切成若干块后分布式存储在若干台datanode上 (5)每一个文件块可以有多个副本,并存放在原创 2017-08-26 22:18:32 · 271 阅读 · 0 评论 -
(3).hdfs集群节点
Namenode1.Namenode工作职责:负责客户端请求的响应,元数据的管理(查询,修改) 2.元数据管理 : namenode对数据的管理采用了三种存储形式:内存元数据(NameSystem) 磁盘元数据镜像文件数据操作日志文件(可通过日志运算出元数据) 3.元数据存储机制: A、内存中有一份完整的元数据(内存meta data)原创 2017-08-26 22:20:35 · 486 阅读 · 0 评论 -
(4). hdfs数据写过程概述
(1)客户端要向HDFS写数据,首先要跟namenode通信以确认可以写文件并获得接收文件block的datanode,然后,客户端按顺序将文件逐个block传递给相应datanode,并由接收到block的datanode负责向其他datanode复制block的副本 (2)详细步骤解析 1.根namenode通信请求上传文件,namenode检查目标文件是否已存原创 2017-09-28 17:06:27 · 414 阅读 · 0 评论 -
(5).hdfs数据读过程概述
(1)客户端将要读取的文件路径发送给namenode,namenode获取文件的元信息(主要是block的存放位置信息)返回给客户端,客户端根据返回的信息找到相应datanode逐个获取文件的block并在客户端本地进行数据追加合并从而获得整个文件 (2)详细步骤解析 1.跟namenode通信查询元数据,找到文件块所在的datanode服务器原创 2017-09-28 17:07:47 · 522 阅读 · 0 评论