一.Hadoop架构
- HDFS(Hadoop Distributed File System)
分布式文件系统,解决分布式存储 - MapReduce
分布式计算框架 - YARN
分布式资源管理系统
Hadoop2.x中引入 - Common
支持所有其他模块的公共工具程序
二.HDFS架构
三.HDFS组成角色及其功能
- Client:客户端
- NameNode(NN):元数据节点
管理文件系统的Namespace元数据
一个HDFS集群只有一个Active的NN - DataNode(DN):数据节点
数据存储节点,保存和检索Block
一个集群可以有多个数据节点 - Secondary NameNode(SNN):从元数据节点
合并nameNode的edit logs到fsimage文件中
辅助NN将内存中元数据信息持久化
四.HDFS副本机制
- Block
HDFS最基本的存储单元
默认块大小:128MB (Hadoop2.x) - 副本机制
作用: 避免数据丢失
副本数默认为3
存放机制:
一个在本地机架节点
一个在同一个机架不同几点
一个在不同机架的节点
五.HDFS优缺点
六.HDfS Cli(shell 命令行)
- 基本格式
- hdfs dfs -cmd
- hadoop fs -cmd
查看可用命令
hdfs dfs
七.HDFS读写文件