HDFS文件系统的特点
HDFS文件系统,硬盘容量来自各个服务器硬盘容量之和 20+20+20=60(一个硬盘的所有容量不能全部分给HDFS,系统盘也不能分给HDFS)
特点:master/slave架构:主从架构
namenode:主节点,主要用于储存元数据,处理用户请求
datanode:从节点,主要用于储存数据,提供硬盘空间。
分块储存:把把一个大的文件,花城一个个小的block块,在hadoop当中一个block块默认是128MB的大小,
统一的命名空间:对外提供统一的文件访问地址:
hdfs://node01:8020
namenode元数据管理:将所有的元数据信息保存起来,方便统一的查找
datanode数据存储:出磁盘,用于我们的文件数据
副本机制:1280M的文件需要拆成10个block块
副本机制,每个block块都有三个副本,例如:
blk-0001 node01 blk-0001 node02 blk-0001 node03
一次写入,多次读取:hdfs文件系统,适用于频繁读取的情况,不适用于频繁写入的情况.
改变文件,涉及到元数据的改变
HDFS基本命令的使用
ls:查看某一路径下的文件
例如:hdfs dfs -ls /user/hadoop/file1
若为ls -R 则表示递归的查看</