hdfs
文章平均质量分 74
小冷在努力
这个作者很懒,什么都没留下…
展开
-
hdfs网络拓扑与机架感知
在了解hdfs创建文件之前,需要对hdfs网络拓扑有一个浅显的认知,继而对机架感知做一个简单的介绍。 在海量数据处理中,其主要限制因素是节点之间数据的传输速率-带宽稀缺。这里的想法是将两个节点间的距离作为带宽的衡量标准。Hadoop采用一个简单的方法:把网络看作一棵树,两个节点间的距离是它们到最近共同祖先的距离总和。该树中的层次是没有预先设定的,但是相对于数据中心、机架、正在运行的节点,通常原创 2017-09-10 15:17:12 · 1458 阅读 · 0 评论 -
HDFS启动过程了解
Namenode目录:元数据(name,permission,block,replication),没有dn的位置 当系统启动并加载fsimage完成之后(这个时候元数据都加载到内存中),dn向namenode报告自己的块列表,这个时候形成数据块->datanode列表的映射,数据块到datanode列表的映射关系在namenode内存中维护。在实际的应用中,数据块到datanode的对应关系经原创 2017-09-10 15:26:06 · 358 阅读 · 0 评论 -
HDFS性能优化
分布式文件系统是在多个节点上做的数据文件的部署,所以,当多个节点之间要做数据的传输通信时,就要有一个文件目录的管理者和网络带宽的使用。当namenode的可使用的内存空间和网络带宽可使用率非常大时,实现节点之间的数据快速传输通信是非常可观的。这里,就对如何提高hdfs性能做如下优化介绍。 1. Hdfs存档/归档,减少namenode内存空间的使用 存档是用来备份的时候标识用的,说...原创 2017-09-10 15:34:33 · 6250 阅读 · 0 评论 -
hdfs运维指令
配额管理 Hdfs dfsadmin 条件: 对目录进行设置 值必须时正整数 具有管理员权限 2、目录配额 控制目录所有文件/文件夹的个数,当前设置的目录也算是1个,所以1表示当前目录为空目录 Hdfs dfsadmin –setQuota 1 /user/data //设置/usr/data目录下的配额为1,即/usr/data目录下不能在创建文件或文件夹 Hdfs d...原创 2018-11-06 10:38:21 · 1183 阅读 · 0 评论