HDFS
一只懒得睁眼的猫
励志成为一个技术大牛!
展开
-
针对例会中出现的split块的位置问题的解决方案
本文作者:王婷婷 针对例会中出现的问题,本人提出的解决方案如下: 涉及到的具体技术实现细节包括hdfs fsck机制与脚本批量执行机制,先分别介绍。 1、hdfs fsck机制 在HDFS中,提供了fsck命令,用于检查HDFS上文件和目录的健康状态、获取文件的block块信息和位置信息等。 集群情况:[root@hadoop11 local]# jps28234 N原创 2016-07-10 19:19:34 · 1036 阅读 · 0 评论 -
HDFS中的file与block块之间的对应关系举例
linux中的jdk-6u24-linux-i586.bin是81M[root@hadoop local]# du -sh *211M hadoop60M hadoop-1.1.2.tar.gz250M jdk81M jdk-6u24-linux-i586.bin8.0K mydata4.0K word2.txt4.0K word.txt将原创 2016-10-10 20:43:49 · 4624 阅读 · 0 评论 -
HDFS入门笔记------架构以及应用介绍
引言—HDFS的重要性: Hadoop的定义:适合大数据的分布式存储与计算的一个平台,其中大数据的分布式存储就是由HDFS来完成的,因此掌握好HDFS的相关概念与应用非常重要! 本篇博客将从以下几个方面讲述HDFS: 1、分布式文件系统与HDFS 2、HDFS的体系结构 3、HDFS—-NameNode相关概念 4、HDFS—-DataNode相关概念 5、HDFS—-block块相关原创 2016-06-14 08:50:02 · 4037 阅读 · 0 评论 -
Hadoop1中如何确保HDFS的高可靠(HA)
在Hadoop1中NameNode是单节点,如何确保NameNode的高可靠呢? 共有两种措施: 第一:因为对于NameNode来说,其核心数据存储在fsimage和edits当中。所以第一个措施就是对这两个文件进行多备份。 从源码中我们可以发现:fsimage和edits这两个文件存储在${hadoop.tmp.dir}/dfs/name文件夹下面,而从源码中我们可以发现:hadoop.tm原创 2016-10-15 15:06:26 · 2407 阅读 · 0 评论 -
conf/masters中masters的内容探究
在Hadoop1文件配置的过程中:masters的内容究竟是什么?? 今天在黄宜华《深入理解大数据》中找到了答案?68页 masters记录的是SecondaryNameNode的地址。原创 2016-10-16 10:44:46 · 783 阅读 · 0 评论 -
HDFS中dfsadmin命令的使用
在hadoop中,管理员可以通过dfsadmin管理HDFS,常用的两个命令如下:-report 显示文件系统的基本数据-safemode 维护HDFS的安全模式原创 2016-10-16 11:00:58 · 4670 阅读 · 0 评论