On the way

丨靡不有初,鲜克有终;不忘初心,方得始终丨大数据方向自学探索者 | 欢迎交流学习 ™️...

HDFS性能优化与学习笔记


HDFS要点

1.HDFS具有主/从架构。一个HDFS集群包含一个NameNode,一个主服务器,用于管理文件系统名称空间并管理客户端对文件的访问。此外,还有许多DataNode,通常是群集中的每个节点一个,它们管理连接到它们所运行的节点的存储。HDFS公开文件系统名称空间并允许用户数据存储在文件中。在内部,文件被分成一个或多个块,这些块存储在一组DataNode中。NameNode执行文件系统命名空间操作,如打开,关闭和重命名文件和目录。它还确定块到DataNode的映射。DataNode负责提供来自文件系统客户端的读取和写入请求。DataNode还执行块创建,删除。
2.数据分阶段被创建。客户端创建文件的请求不会立即到达NameNode。事实上,最初HDFS客户端将文件数据缓存到本地缓冲区。应用程序写入被透明地重定向到本地缓冲区。当本地文件累积超过一个块大小的数据时,客户端会联系NameNode。NameNode将文件名插入到文件系统层次结构中,并为其分配一个数据块。NameNode用DataNode的标识和目标数据块响应客户请求。然后客户端将本地缓冲区中的数据块刷新到指定的DataNode。当文件关闭时,本地缓冲区中剩余的未刷新数据将传输到DataNode。客户端然后告诉NameNode文件已关闭
3.为了尽量减少全局带宽消耗和读取延迟,HDFS会尝试满足最接近读取器的读取请求的副本。如果在读取器节点的同一机架上存在副本,则该副本优先满足读取请求。如果HDFS群集跨越多个数据中心,则驻留在本地数据中心的副本优先于任何远程副本。

HDFS性能优化

【1】HDFS联邦策略。文件系统吞吐量不受单个Namenode限制,向群集添加更多Namenodes可扩展文件系统的读/写吞吐量。
【2】机架感知的放置策略的目的是提高数据可靠性,可用性和网络带宽利用率。对于常见情况,当复制因子为3时,HDFS的放置策略是将一个副本放在本地机架中的一个节点上,另一个放在本地机架中的不同节点上,而最后一个放在另一个机架中的不同节点上。该策略可以减少机架间写入流量,这通常会提高写入性能。
【3】对于经常要访问的数据,使用HDFS中的集中缓存管理,创建堆外缓存和高速缓存池,这可以提高整体集群内存的利用率,防止同一个块的多个副本同时加入了缓冲区中缓存。这是一种显示缓存机制,允许用户指定要由HDFS缓存的路径。NameNode将与磁盘上具有所需块的DataNode进行通信,并指示他们将块缓存在堆外缓存中。
【4】配置HDFS本地短路读取,在HDFS中,读取通常通过DataNode。因此,当客户端要求DataNode读取文件时,DataNode将该文件从磁盘读取出来并通过TCP套接字将数据发送到客户端。所谓的“短路”读取绕过DataNode,允许客户端直接读取文件。显然,这只有在客户与数据共存的情况下才有可能。短路读取为许多应用提供了显着的性能提升。
【5】为减少数据写入HDFS的延迟,可以采取惰性持久写入的方式,当DataNode节点需要写入数据到磁盘时,通过惰性持久写入的方式,先写入到堆外内存中,再进行数据校验和异步写入磁盘。

HDFS故障恢复和容灾备份

1.HDFS HA高可用性配置和故障自动转移。
2.HDFS快照。将损坏的HDFS实例回滚到先前已知的良好时间点。

阅读更多
版权声明:✔️ 觉得此文有用的,不嫌麻烦的,就留个言呐,或者点个赞呐 https://blog.csdn.net/Coder__CS/article/details/79662670
文章标签: hdfs
个人分类: Hadoop
想对作者说点什么? 我来说一句

自己的学习笔记ppt

2016年10月08日 67KB 下载

品悟性能优化pdf

2018年02月26日 71.68MB 下载

没有更多推荐了,返回首页

不良信息举报

HDFS性能优化与学习笔记

最多只允许输入30个字

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭