snowfoxmonitor的专栏

使用hadoop2.6.5版本配置Hadoop集群，配置NameNode+HA、ResourceManager+HA，并使用zookeeper来管理Hadoop集群。一、主机规划hadoop001192.168.159.129hadoop002192.168.159.130hadoop003192..168.159.131hadoop004192..168.1...

Yarn之ResourceManager详细分析笔记（一）   http://zengzhaozheng.blog.51cto.com/8219051/1438204/  2014-07-15 08:58:18http://zengzhaozheng.blog.51cto.com/8219051/1438204  一、概述    本文将介绍Resourc...

一、YARN基本服务组件          YARN是Hadoop 2.0中的资源管理系统，它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。其中ResourceManager负责整个系统的资源管理和分配，而ApplicationMaster负责单个应用程序的管理...

1.1hadoop常用四大模块文件:1.1.1core-site.xml(工具模块)    包括Hadoop常用的工具类，由原来的Hadoopcore部分更名而来。主要包括系统配置工具Configuration、远程过程调用RPC、序列化机制和Hadoop抽象文件系统FileSystem等。它们为在通用硬件上搭建云计算环境提供基本的服务，并为运行在该平台上的软件开发提供了所需的API。 ...

NameNode之间共享数据（NFS 、Quorum Journal Node（用得多））两个NameNode为了数据同步，会通过一组称作JournalNodes的独立进程进行相互通信。当active状态的NameNode的命名空间有任何修改时，会告知大部分的JournalNodes进程。standby状态的NameNode有能力读取JNs中的变更信息，并且一直监控edit log的变化，把变...

常见的Hadoop十大应用误解 1.        (误解) Hadoop什么都可以做(正解) 当一个新技术出来时，我们都会去思考它在各个不同产业的应用，而对于平台的新技术来说，我们思考之后常会出现这样的结论 “这个好像什么都能做”， 然而，更深入的去想，你就会发现“好像什么都需要重头做”。 对于Hadoop，我常喜欢举Database来当例子。 三十年前数据库(Database)刚出来...

HBase概念及表格设计1. 概述（扯淡~）HBase是一帮家伙看了Google发布的一片名为“BigTable”的论文以后，犹如醍醐灌顶，进而“山寨”出来的一套系统。由此可见：　　1. 几乎所有的HBase中的理念，都可以从BigTable论文中得到解释。原文是英语的，而且还有不少数学概念，看了有点儿懵，建议网上找找学习笔记看看，差不多也就可以入门了。　　2. Google确...

  前面刚开始使用HBase只是用于存取某些简单的JAVA对象或是简单数据，所以一般设置列族和列标示时只用一个就行了。     最近有个任务是把系统中的站内消息移到HBase当中去，才开始查HBase中的一对多关系，发现网上的资料讲的都不甚详尽，这篇blog记录一下我的设计和想法，这些想法毕竟未经证实，尚需验证。如果有大虾认为有不妥甚至错误的地方请不吝指教。     首先讲两个我参考的资料，背...

Hadoop求助编辑百科名片  Hadoop示意图一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上...