第六章的代码及命令的部分本人还未验证,先记录,验证后如有变动再更新。
一、是什么
1.是一个易于扩展的分布式文件系统
2.可以运行在大量普通廉价机器上,提供容错机制
3.可以为大量用户提供性能不错的文件存取服务
二、优点
高容错性:数据自动保存多个副本,副本丢失后,自动恢复
适合批处理:移动计算而非数据,数据位置暴露给计算框架
适合大数据处理:GB、TB、甚至PB级数据;百万规模以上的文件数量;10K+节点规模
流式文件访问:一次性写入,多次读取;保证数据一致性
可构建在廉价机器上:通过多副本提高可靠性;提供了容错和恢复机制
三、缺点
低延迟数据访问:比如毫秒级;低延迟与高吞吐率;
不适合小文件存取:占用NameNode大量内存;寻道时间超过读取时间;
并发写入、文件随机修改:一个文件只能有一个写者;仅支持append
四、HDFS架构
主Master(只有一个):可以用来管理HDFS的名称空间;管理数据块映射信息;配置副本策略;处理客户端读写请求
NameNode的热备:可以定期合并fsimage和fsedits,推送给NameNode;当Active NameNode出现故障时,快速切换为新的 Active NameNode。
Datanode:Slave(有多个);存储实际的数据块;执行数据块读/写
Client:文件切分;与NameNode交互,获取文件位置信息; 与DataNode交互,读取或者写入数据;管理HDFS;访问HDFS
HDFS数据块(block):文件被切分成固定大小的数据块,默认数据块大小为64MB,可配置。若文件大小不到64MB,则单独存成一个block。数据库之所以如此之大,是为了保障数据传输时间超过寻道时间(高吞吐率)。一个文件在HDFS中存储时,会按大小被切分成若干个block,存储到不同节点上。默认情况下每个block有三个副本。
写流程:
读流程:
典型物理拓扑:
五、HDFS策略
Block副本放置策略:
副本1: 同Client的节点上;
副本2: 不同机架中的节点上;
副本3: 与第二个副本同一机架的另一个节点上
其他副本:随机挑选
可靠性策略:
常见的三种错误情况:文件损坏;网络或者机器失效;namenode挂掉
文件完整性:CRC32校验;用其他副本取代损坏文件
网络或者机器失效:利用Heartbeat,Datanode 定期向Namenode发heartbeat;
namenode挂掉:通过下面策略保障元数据信息,FSImage(文件系统镜像)、Editlog(操作日志);多份存储;主备NameNode实时切换
HDFS不适合存储小文件:
1.元信息存储在NameNode内存中,一个节点的内存是有限的,存取大量小文件消耗大量的寻道时间,类比拷贝大量小文件与拷贝同等大小的一个大文件。
2.NameNode存储block数目是有限的,一个block元信息消耗大约150 byte内存, 存储1亿个block,大约需要20GB内存,如果一个文件大小为10K,则1亿个文件大小仅为1TB(但要消耗掉NameNode20GB内存)
六、HDFS访问方式
HDFS Shell命令;
HDFS Java API;
HDFS REST API;
HDFS Fuse:实现了fuse协议;
HDFS lib hdfs:C/C++访问接口;
HDFS 其他语言编程API;
使用thrift实现,支持C++、Python、php、C#等语言;
HDFS Shell命令
1.将本地文件上传到HDFS上
bin/hadoop fs -copyFromLocal /local/data /hdfs/data
2.删除文件/目录
bin/hadoop fs -rmr /hdfs/data
3.创建目录
bin/hadoop fs -mkdir /hdfs/data
4.一些脚本
在sbin目录下:start-all.sh;start-dfs.sh;start-yarn.sh;hadoop-deamon(s).sh;
单独启动某个服务:
hadoop-deamon.sh start namenode;
hadoop-deamons.sh start namenode(通过SSH登录到各个节点);
5.文件管理命令fsck:
检查hdfs中文件的健康状况
查找缺失的块以及过少或过多副本的块
查看一个文件的所有数据块位置
删除损坏的数据块
6.数据块重分布
bin/start-balancer.sh -threshold <percentage of diskcapacity>
percentage of disk capacity:HDFS达到平衡状态的磁盘使用率偏差值,值越低各节点越平衡,但消耗时间也更长.
7.设置目录份额
限制一个目录最多使用磁盘空间:
bin/hadoop dfsadmin -setSpaceQuota 1t /user/username
限制一个目录包含的最多子目录和文件数目:
bin/hadoop dfsadmin -setQuota 10000 /user/username
8.增加/移除节点
加入新的datanode:
步骤1:将已存在datanode上的安装包(包括配置文件等)拷贝到新datanode上;
步骤2:启动新datanode: sbin/hadoop-deamon.sh start datanode
移除旧datanode
步骤1:将datanode加入黑名单,并更新黑名单,在NameNode上,将datanode的host或者ip加入配置选项dfs.hosts.exclude指定的文件中
步骤2:移除datanode: bin/hadoopdfsadmin -refreshNodes
HDFS Java API介绍
Configuration类:该类的对象封装了配置信息,这些配置信息来自core-*.xml;
FileSystem类:文件系统类,可使用该类的方法对文件/目录进行操作。一般通过FileSystem的静态方法get获得一个文件系统对象;
FSDataInputStream和FSDataOutputStream类: HDFS中的输入输出流。分别通过FileSystem的open方法和create方法获得。
以上类均来自java包:org.apache.hadoop.fs
如:将本地文件拷贝到HDFS上;
Configuration config = new Configuration();
FileSystem hdfs = FileSystem.get(config);
Path srcPath = new Path(srcFile);
Path dstPath = new Path(dstFile);
hdfs.copyFromLocalFile(srcPath, dstPath);
创建HDFS文件;
//byte[] buff – 文件内容
Configuration config = new Configuration();
FileSystem hdfs = FileSystem.get(config);
Path path = new Path(fileName);
FSDataOutputStream outputStream = hdfs.create(path);
outputStream.write(buff, 0, buff.length);
补充(来自百度百科):机架是用于固定电信柜内的接插板、外壳和设备。通常宽19英寸,高7英尺。对于IT行业,可简单理解为存放服务器的机柜。标准机架也称“19英寸”机架。机架式服务器的外形看来不像计算机,而像交换机,路由器等。机架式服务器安装在标准的19英寸机柜里面。这种结构的多为功能型服务器。
七、Hadoop 2.0新特性
NameNode HA
NameNode Federation
HDFS 快照(snapshot)
HDFS 缓存(in-memory cache)
HDFS ACL
异构层级存储结构(Heterogeneous Storage hierarchy)
异构层级存储结构
HDFS将所有存储介质抽象成性能相同的Disk
<property>
<name>dfs.datanode.data.dir</name>
<value>/dir0,/dir1,/dir2,/dir3</value>
</property>
产生背景:
存储介质种类繁多,一个集群中存在多种异构介质,如:磁盘、SSD、RAM等
多种类型的任务企图同时运行在同一个Hadoop集群中,需要解决批处理,交互式处理,实时处理等问题。
不同性能要求的数据,最好存储在不同类别的存储介质上
原理:
每个节点是由多种异构存储介质构成的
<property>
<name>dfs.datanode.data.dir</name>
<value>[disk]/dir0,[disk]/dir1,[ssd]/dir2,[ssd]/dir3</value>
</property>
HDFS仅提供了一种异构存储结构,并不知道存储介质的性能;
HDFS为用户提供了API,以控制目录/文件写到什么介质上;
HDFS为管理员提供了管理工具,可限制每个用户对每种介质的可使用份额;目前完成度不高
阶段1:DataNode支持异构存储介质(HDFS-2832,完成)
阶段2:为用户提供访问API(HDFS-5682,未完成)
HDFS ACL基于POSIX ACL的实现
产生背景:现有权限管理的局限性
对当前基于POSIX文件权限管理的补充(HDFS-4685);
启动该功能;
将dfs.namenode.acls.enabled置为true
使用方法;
hdfs dfs -setfacl -m user:tom:rw- /bank/exchange
hdfs dfs -setfacl -m user:lucy:rw- /bank/exchange
hdfs dfs -setfacl -m group:team2:r-- /bank/exchange
hdfs dfs -setfacl -m group:team3:r-- /bank/exchange
HDFS快照
背景:HDFS上文件和目录是不断变化的,快照可以帮助用户保存某个时刻的数据;
作用:防止用户误操作删除数据和数据备份。
使用:
一个目录可以产生快照,当且仅当它是Snapshottable;
bin/hdfs dfsadmin allowSnapshot <path>
创建/删除快照;
bin/hdfs dfs -createSnapshot <path>[<snapshotName>]
bin/hdfs dfs -deleteSnapshot<path>[<snapshotName>]
快照存放位置和特点:快照是只读的,不可修改
快照位置:
• <snapshottable_dir_path>/.snapshot
• <snapshottable_dir_path>/.snapshot/snap_name
HDFS缓存
背景:
1.HDFS自身不提供数据缓存功能,而是使用OS缓存。容易内存浪费,eg.一个block三个副本同时被缓存。
2.多种计算框架共存,均将HDFS作为共享存储系统
MapReduce:离线计算,充分利用磁盘
Impala:低延迟计算,充分利用内存
Spark:内存计算框架
3.HDFS应让多种混合计算类型共存一个集群中,合理的使用内存、磁盘等资源,比如,高频访问的特点文件应被尽可能长期缓存,防止置换到磁盘上
实现:
用户需通过命令显式的将一个目录或文件加入/移除缓存:不支持块级别的缓存、不支持自动化缓存、可设置缓存失效时间。
缓存目录:仅对一级文件进行缓存,不会递归缓存所有文件与目录。
以pool的形式组织缓存资源,借助YARN的资源管理方式,将缓存划分到不同pool中。每个pool有类linux权限管理机制、缓存上限、失效时间等。
独立管理内存,未与资源管理系统YARN集成,用户可为每个DN设置缓存大小,该值独立于YARN