➣ Hadoop官方文档学习专栏
Hadoop官方文档学习录
gamedev˚
很多东西不是你觉得有用才去学,而是学了才知道它有用。
展开
-
Hadoop Web应用程序代理服务器 | Hadoop Web Application Proxy
Web Application ProxyWeb Application Proxy 是YARN的一部分。默认情况下,它将作为资源管理器(RM)的一部分运行,但可以配置为以独立模式运行。 代理的原因是通过YARN减少网络攻击的可能性。在YARN中,应用程序主(AM)有责任提供一个web UI并将该链接发送到RM。这就引出了一些潜在的问题。 RM作为一个受信任的用户运行,访问该web...翻译 2018-03-01 00:51:15 · 3010 阅读 · 0 评论 -
Hadoop平衡器管理员指南 | Hadoop Balancer Administrator Guide
平衡器是一种平衡HDFS集群磁盘空间使用情况的工具数据节点变满或新空节点加入群集时。该工具被部署为一个可由集群管理员在实时HDFS上运行的应用程序群集,而应用程序添加和删除文件。SYNOPSISTo start: sbin/start-balancer.sh [-threshold <threshold>] Example: bin/ start-balancer.sh s...翻译 2018-03-02 21:01:11 · 537 阅读 · 0 评论 -
学习Hadoop官方文档之 Hadoop文件系统元数据的持久性与运作机制
NameNode中EditLog与FsImage文件的工作机制EditLog和FsImage存储HDFS名称空间由NameNode存储。NameNode使用名为EditLog的事务日志来持久记录元数据在本次集群启动后发生的所有更改操作。 例如,在HDFS中创建一个新文件会导致NameNode向EditLog中插入一条记录,指出这一点。同样,更改文件的复制因子会导致将新记录插入到Edi...原创 2018-03-03 10:59:11 · 336 阅读 · 0 评论 -
Hadoop集群垃圾箱配置 | fs.trash.interval
启用Hadoop集群垃圾箱配置配置参数:<property> <name>fs.trash.interval</name> <value>10</value> <description>检查点被删除后的分钟数。 如果为零,垃圾桶功能将被禁用。 该选项可以在服务器和客户端上配置。...翻译 2018-03-03 14:12:10 · 5191 阅读 · 0 评论 -
HDFS快照 | HDFS Snapshots
HDFS快照概况 HDFS快照是文件系统的只读时间点副本。快照可以在文件系统的子树上或整个文件系统上进行。快照的一些常见用例是数据备份,防止用户错误和灾难恢复。 HDFS快照的实施非常高效: 快照创建是即时的:成本为O(1),不包括索引节点查找时间。额外内存仅在相对于快照进行修改时使用:内存使用量为O(M),其中M是修改的文件/目录的数量。...原创 2018-03-03 14:50:20 · 1021 阅读 · 0 评论 -
HDFS创建全局快照
HDFS创建快照的详细说明文档请参见: [HDFS快照 | HDFS Snapshots] http://blog.csdn.net/coder__cs/article/details/79430333允许创建目录的快照。如果操作成功完成,则该目录变为快照可见。[elon@hadoop4 bin]$ hdfs dfsadmin -allowSnapshot /Allowing sna...原创 2018-03-03 15:13:42 · 622 阅读 · 0 评论 -
HDFS高可用性 手动故障转移和自动故障转移配置教程
本文适用范围,对于任何官方开源包安装的集群环境要配置HA NameNode,你必须将多个配置选项添加到你的hdfs-site.xml配置文件。这里我先给出全部的配置项,然后接下来会逐步提及各配置项。<configuration><property> <name>dfs.nameservices</name> <valu...原创 2018-03-04 16:33:37 · 2409 阅读 · 0 评论 -
Hadoop官方文档学习之 HDFS高可用性QJM与NFS模式
背景在Hadoop 2.0.0之前,NameNode是HDFS集群中的单点故障(SPOF)。每个群集都有一个NameNode,如果该机器或进程不可用,整个群集将不可用,直到NameNode重新启动或在单独的计算机上启动为止。HDFS高可用性功能通过提供在具有热备份的主动/被动配置中在同一集群中运行两个冗余NameNode的选项来解决上述问题。这允许在计算机崩溃的情况下快速故障转移到新的Na...原创 2018-03-06 17:04:44 · 1049 阅读 · 0 评论 -
Hadoop官方文档学习之 HDFS联邦体系结构
背景HDFS有两个主要层次:Namespaces - 由目录,文件和块组成。 - 它支持所有与Namespaces相关的文件系统操作,例如创建,删除,修改和列出文件和目录。块存储服务有两个部分:块管理(在Namenode中执行) 通过处理注册和定期心脏跳动提供Datanode群集成员身份。进程阻止报告并维护块的位置。支持块相关的操作,如创建,删除,修改...原创 2018-03-06 20:35:07 · 725 阅读 · 0 评论