caodaoxi的专栏

storm on yarn的git地址：https://github.com/yahoo/storm-yarn.git

sudo apt-get install libcurl3 libcurl3-gnutls libcurl4-openssl-devsudo apt-get install g++ python-dev  libcppunit-dev libcppunit-doc

1. Main class [org.apMain class [org.apache.oozie.action.hadoop.HiveMain], exit code [9]

This document comprehensively describes the procedure of running a MapReduce job using Oozie. Its targeted audience is all forms of users who will install, use and operate Oozie.NOTE: This tutorial

ZkState.java 主要是维护了与zookeeper之间的连接,以及如果对zk节点数据进行序列化和反序列化.DynamicBrokersReader.java 维护了有一个与zk之间的连接,维护了topic,zkroot.获取分区信息. getBrokerInfo获取分区与partition leader的之间关系.返回类型为GlobalPartitionInformation

★ yaml跟我们一般用的属性配置文件有所不同, 它的要求更严格一些, 因此在往conf/storm.yaml中添加配置的时候必须注意. 比如必须注意开始位置和冒号后面的空格, 否则配置不会生效. 关于yaml相关的资料, 网上有很多资料可以参考 如何检查配置是否生效, 可以使用命令: storm localconfvalue 配置关键字 但是这个命令只能在nimbus上生效, 在supervi...

说到对Hadoop和HBase的集群监控，大家知道的和用的最多的可能还是第三方的监控工具，cacti，ganglia，zabbix之类的。玩的深一些的，会用zenoss之类的。这些工具确实不错，也能发挥很大的作用，但时间长了总感觉监控粒度还是比较粗，不够详细。毕竟是第三方的监控，即便Hadoop自带了ganglia的接口，也还是觉得不够。其实Hadoop本身是带有监控接口的，各公司的发

第1章 Trigger1.1 创建一个trigger选择：ConfigurationàHost双击: Trigger双击:Create Trigger(位置在右上角)后图下图所示 NameTrigger的名字Expression添加Trigger表达式，双击add后添加

RDD是什么东西？在Spark中有什么作用？如何使用？ 1、RDD是什么（1）为什么会产生RDD？传统的MapReduce虽然具有自动容错、平衡负载和可拓展性的优点，但是其最大缺点是采用非循环式的数据流模型，使得在迭代计算式要进行大量的磁盘IO操作。RDD正是解决这一缺点的抽象方法 （2）RDD的具体描述RDD（弹性数据集）是Spark提供的最重要的抽象的概念，它是一种有容

sudo apt-get install libcurl3 libcurl3-gnutls libcurl4-openssl-dev

在编译flume ng的时候出现不能找到flume-ng-log4jappender的问题:[ERROR] Failed to execute goal org.apache.maven.plugins:maven-remote-resources-plugin:1.1:process (default) on project flume-ng-dist: Failed to resolve

1.安装LZOsudo apt-get install liblzo2-dev或者下载lzo2[http://www.oberhumer.com/opensource/lzo/download/].wget [http://www.oberhumer.com/opensource/lzo/download/lzo-2.06.tar.gz]./configure \--en...

概述节点健康状况检测是YARN为每个NodeManager提供的机制，通过该机制，NodeManager可通过心跳机制将节点健康状况实时汇报给ResourceManager，而ResourceManager则会根据每个NodeManager的健康状况适当调整分配的任务数目。当NodeManager认为自己的健康状况“欠佳”时，可让ResourceManager不再分配任务，待健康状况好转时，再

概述节点健康状况检测是YARN为每个NodeManager提供的机制，通过该机制，NodeManager可通过心跳机制将节点健康状况实时汇报给ResourceManager，而ResourceManager则会根据每个NodeManager的健康状况适当调整分配的任务数目。当NodeManager认为自己的健康状况“欠佳”时，可让ResourceManager不再分配任务，待健康状况好转时，再...

ApplictionMaster管理部分主要由三个服务构成，分别是AMLivelinessMonitor、ApplicationMasterLauncher和ApplicationMasterService，它们共同管理ApplicationMaster的生存周期，接下来我们依次介绍这三个服务。AMLivelinessMonitor该服务周期性遍历所有ApplicationMaster

ResourceManager中的对象均被封装成服务和事件处理器，其中，封装成服务是为了统一管理，而所有事件处理器处理来自中央总调度器分配的事件，总调度器将各个服务发送出来的事件按照事件类型分配给对应的事件处理器，如此循环，构成了ResourceManager的整体架构。（1）RM中的服务YARN采用了服务模型，它将各种对象服务化，以便于统一管理（统一启动、关闭等）。YARN中将服务分为两

ResourceManager中的对象均被封装成服务和事件处理器，其中，封装成服务是为了统一管理，而所有事件处理器处理来自中央总调度器分配的事件，总调度器将各个服务发送出来的事件按照事件类型分配给对应的事件处理器，如此循环，构成了ResourceManager的整体架构。（1）RM中的服务YARN采用了服务模型，它将各种对象服务化，以便于统一管理（统一启动、关闭等）。YARN中将服务分为两...

YARN分别针对普通用户，管理员和Web提供了三种对外服务，分别对应ClientRMService、AdminService和WebApp，本节将对这三个服务分别进行详细介绍。1.     ClientRMServiceClientRMService是为普通用户提供的服务，它会处理来自客户端各种RPC请求，比如提交应用程序、终止应用程序，获取应用程序运行状态等。ClientRMServic

YARN分别针对普通用户，管理员和Web提供了三种对外服务，分别对应ClientRMService、AdminService和WebApp，本节将对这三个服务分别进行详细介绍。1. ClientRMServiceClientRMService是为普通用户提供的服务，它会处理来自客户端各种RPC请求，比如提交应用程序、终止应用程序，获取应用程序运行状态等。ClientRMService实现了...