hdfs
wzw12315
这个作者很懒,什么都没留下…
展开
-
HDFS NameNode重启优化
HDFS NameNode重启优化 http://tech.meituan.com/namenode-restart-optimization.html 一、背景 在Hadoop集群整个生命周期里,由于调整参数、Patch、升级等多种场景需要频繁操作NameNode重启,不论采用何种架构,重启期间集群整体存在可用性和可靠性的风险,所以优化NameNode重启非常关键。 本文基于转载 2017-11-28 15:05:16 · 582 阅读 · 0 评论 -
深刻理解HDFS工作机制
深刻理解HDFS工作机制 深入理解一个技术的工作机制是灵活运用和快速解决问题的根本方法,也是唯一途径。对于HDFS来说除了要明白它的应用场景和用法以及通用分布式架构之外更重要的是理解关键步骤的原理和实现细节。在看这篇博文之前需要对HDFS以及分布式系统有一些了解。请参考这篇博客。本篇博文首先对HDFS的重要特性和使用场景做一个简要说明,之后对HDFS的数据读写、元数据管理以及Na转载 2017-11-16 14:31:18 · 232 阅读 · 0 评论 -
Hadoop2源码分析-MapReduce篇
Hadoop2源码分析-MapReduce篇 1.概述 前面我们已经对Hadoop有了一个初步认识,接下来我们开始学习Hadoop的一些核心的功能,其中包含mapreduce,fs,hdfs,ipc,io,yarn,今天为大家分享的是mapreduce部分,其内容目录如下所示: MapReduce V1MapReduce V2MR V1和MR V2的区别MR V2的重构思转载 2017-12-04 10:47:20 · 284 阅读 · 0 评论 -
MapReduce-深度剖析
MapReduce-深度剖析 1.概述 在接触了第一代MapReduce和第二代MapReduce之后,或许会有这样的疑惑,我们从一些书籍和博客当中获取MapReduce的一些原理和算法,在第一代当中会有JobTrack,TaskTrack之类的术语,在第二代会有ResourceManager,NodeManager,ApplicationMaster等等术语。然又有Shuff转载 2017-12-04 10:50:28 · 222 阅读 · 0 评论 -
HDFS运维和优化
HDFS运维和优化 常见问题 下面列举HDFS运行过程中可能出现的常见问题及解决方法,这些问题一般都会在日志中出现的相应的记录。 Incompatible clusterIDs in … :namenode clusterID = … ,datanode clusterIDs =… 出现该错误是由于NameNode重新格式化后会被赋予新的namespaceID,这个ID与DataN转载 2017-11-28 14:46:44 · 3217 阅读 · 0 评论 -
HBase简介
HBase简介 HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 HBase是Google Bigtable的开源实现,类似Google Bigtable利用GFS作为其文件存储系统,HBase利用Hadoop HDFS作为其文件存储系统;Google运行MapRe转载 2017-12-07 16:05:56 · 203 阅读 · 0 评论 -
Hadoop NameNode元数据相关文件目录解析
Hadoop NameNode元数据相关文件目录解析 分类: Hadoop2014-03-06 10:01:59 下面所有的内容是针对Hadoop 2.x版本进行说明的,Hadoop 1.x和这里有点不一样。 在第一次部署好Hadoop集群的时...转载 2018-05-08 11:22:49 · 1628 阅读 · 0 评论