HDFS概念
- 数据块:64M;减少寻址时间
- 将块复制到少数独立机器(备份)
namenode 和 datanode
- namenode:管理者:维护文件系统树
- datanode: 工作者:临时,记录每个文件中各个块所在的数据节点信息
- namenode的备份:(1)写入远程的NFS;(2)secondnamenode
命令:
hadoop fs -ls
hadoop fs -copyFromLocal in/.... hdfs://......
文件的读取
- Clinet向namenode发起读请求
- NameNode返回文件存储的Datanode的信息
- Client读取文件信息
文件的写入
- Client向namenode发起文件的写入请求;
- namenode根据文件的大小和文件的块的情况,返回给clinet其所管理的datanode的信息
- client将文件划分为多个block, 写入datanode