分布式文件系统HDFS

一.Hadoop架构

• HDFS(Hadoop Distributed File System)
  分布式文件系统,解决分布式存储
• MapReduce
  分布式计算框架
• YARN
  分布式资源管理系统
  Hadoop2.x中引入
• Common
  支持所有其他模块的公共工具程序
  

二.HDFS架构

三.HDFS组成角色及其功能

• Client:客户端
• NameNode(NN):元数据节点
  管理文件系统的Namespace元数据
  一个HDFS集群只有一个Active的NN
• DataNode(DN):数据节点
  数据存储节点,保存和检索Block
  一个集群可以有多个数据节点
• Secondary NameNode(SNN):从元数据节点
  合并nameNode的edit logs到fsimage文件中
  辅助NN将内存中元数据信息持久化
  

四.HDFS副本机制

• Block
  HDFS最基本的存储单元
  默认块大小:128MB (Hadoop2.x)
• 副本机制
  作用: 避免数据丢失
  副本数默认为3
  存放机制:
  一个在本地机架节点
  一个在同一个机架不同几点
  一个在不同机架的节点
  

五.HDFS优缺点

六.HDfS Cli(shell 命令行)

• 基本格式
• hdfs dfs -cmd
• hadoop fs -cmd
  查看可用命令
  hdfs dfs
  
  

七.HDFS读写文件