Hadoop学习笔记(一)——文件系统HDFS

学习资料

慕课网——Hadoop大数据平台架构与实践–基础篇

设计架构

基本概念

  • 块(Block)
  • NameNode
  • DataNode

HDFS的文件被分成块进行存储

HDFS块的默认大小为64MB

块是文件存储处理的逻辑单元,在此上进行存储、查找等操作

NameNode和DataNode是HDFS中的两类节点

NameNode是管理节点,存放文件元数据

  1. 文件与数据块的映射表
  2. 数据块与数据节点的映射表

DataNode是HDFS的工作节点,存放数据块

体系结构

图一

数据管理与容错

每个数据块3个副本,分布在两个机架内的三个节点,两份同一机架。如上图。

心跳检测

DataNode定期向NameNode发送心跳信息,报告自己的状态,是否正常。

二级NameNode

Secondary NameNode定期同步元数据映像文件和修改日志。当NameNode发生故障而瘫痪,二级NameNode会将它替换。

文件读取流程

  1. 客户端向NameNode发起文件读取请求
  2. NameNode查询元数据并返回
  3. 客户端读取Block并提取内容拼装

这里写图片描述

文件写入流程

  1. 文件拆分成块,通知NameNode
  2. 服务端返回可用的DataNode
  3. 写入Block
  4. 写入第一个块后,在DataNode间进行流水线复制
  5. 更新元数据,通知NameNode动作结束
  6. 重复以上步骤写其他块

这里写图片描述

HDFS特点

  1. 数据冗余,硬件容错
  2. 流式的数据访问,一次写入多次读取,无法随机修改,修改只能通过删除原数据再追加
  3. 存储大文件

适用性和局限性

  • 适合数据批量读写,吞吐量高
  • 不适合交互式应用,低延迟很难满足
  • 适合一次写入多次读取,顺序读写
  • 不支持多用户并发写相同文件

HDFS使用

打印HDFS内文件夹

hadoop fs -ls /

创建目录

hadoop fs -mkdir input

把本地文件提交到HDFS

hadoop fs -put localFile.xx aimPath/

把HDFS内的文件下载

hadoop fs -get path/file.xx localFileName

查看HDFS当前信息

hadoop dfsadmin -report
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

孔天逸

没有钱用,只能写写博客这样子~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值