storm on yarn 如何支持 storm 0.9.2

storm on yarn的git地址:https://github.com/yahoo/storm-yarn.git

2014-10-29 17:11:43

阅读数 849

评论数 0

flume监控指标详解

2014-05-15 17:39:32

阅读数 1789

评论数 0

mesos

sudo apt-get install libcurl3 libcurl3-gnutls libcurl4-openssl-dev sudo apt-get install g++ python-dev  libcppunit-dev libcppunit-doc

2014-05-10 09:51:30

阅读数 459

评论数 0

使用oozie遇到的问题

1. Main class [org.apMain class [org.apache.oozie.action.hadoop.HiveMain], exit code [9]

2014-04-07 21:44:57

阅读数 439

评论数 0

oozie Cookbook

This document comprehensively describes the procedure of running a MapReduce job using Oozie. Its targeted audience is all forms of users who will in...

2014-03-23 11:36:53

阅读数 802

评论数 0

storm-kafka-plus源码阅读

ZkState.java 主要是维护了与zookeeper之间的连接,以及如果对zk节点数据进行序列化和反序列化. DynamicBrokersReader.java 维护了有一个与zk之间的连接,维护了topic,zkroot.获取分区信息.  getBrokerInfo获取分区与par...

2014-03-05 23:57:01

阅读数 631

评论数 0

storm异常

★ yaml跟我们一般用的属性配置文件有所不同, 它的要求更严格一些, 因此在往conf/storm.yaml中添加配置的时候必须注意. 比如必须注意开始位置和冒号后面的空格, 否则配置不会生效. 关于yaml相关的资料, 网上有很多资料可以参考 如何检查配置是否生效, 可以使用命令: stor...

2014-01-26 16:33:13

阅读数 36

评论数 0

Hadoop和HBase集群的JMX监控

说到对Hadoop和HBase的集群监控,大家知道的和用的最多的可能还是第三方的监控工具,cacti,ganglia,zabbix之类的。玩的深一些的,会用zenoss之类的。这些工具确实不错,也能发挥很大的作用,但时间长了总感觉监控粒度还是比较粗,不够详细。毕竟是第三方的监控,即便Hadoop自...

2014-01-03 15:05:54

阅读数 497

评论数 0

zabbix的入门到精通之zabbix的触发器Trigger

第1章 Trigger 1.1 创建一个trigger 选择:ConfigurationàHost 双击: Trigger 双击:Create Trigger(位置在右上角)后图下图所示   Name Trigger的名字 ...

2014-01-01 23:05:29

阅读数 1075

评论数 0

RDD

RDD是什么东西?在Spark中有什么作用?如何使用?  1、RDD是什么 (1)为什么会产生RDD? 传统的MapReduce虽然具有自动容错、平衡负载和可拓展性的优点,但是其最大缺点是采用非循环式的数据流模型,使得在迭代计算式要进行大量的磁盘IO操作。RDD正是解决这一缺点的抽象方法 ...

2014-01-01 22:50:56

阅读数 2639

评论数 0

Can't find libcurl or curl/curl.h (RuntimeError)

sudo apt-get install libcurl3 libcurl3-gnutls libcurl4-openssl-dev

2013-12-31 00:27:37

阅读数 1153

评论数 0

flume ng编译问题解决

在编译flume ng的时候出现不能找到flume-ng-log4jappender的问题: [ERROR] Failed to execute goal org.apache.maven.plugins:maven-remote-resources-plugin:1.1:process (def...

2013-11-25 10:41:32

阅读数 942

评论数 0

hadoop lzo

1.安装LZO sudo apt-get install liblzo2-dev 或者下载lzo2[http://www.oberhumer.com/opensource/lzo/download/]. wget [http://www.oberhumer.com/opensour...

2013-10-28 18:34:04

阅读数 51

评论数 0

YARN/MRv2 Node Manager深入剖析—节点健康状况检测

概述 节点健康状况检测是YARN为每个NodeManager提供的机制,通过该机制,NodeManager可通过心跳机制将节点健康状况实时汇报给ResourceManager,而ResourceManager则会根据每个NodeManager的健康状况适当调整分配的任务数目。当NodeManag...

2013-10-23 15:13:49

阅读数 898

评论数 0

YARN/MRv2 Node Manager深入剖析—节点健康状况检测

概述 节点健康状况检测是YARN为每个NodeManager提供的机制,通过该机制,NodeManager可通过心跳机制将节点健康状况实时汇报给ResourceManager,而ResourceManager则会根据每个NodeManager的健康状况适当调整分配的任务数目。当NodeManag...

2013-10-23 15:13:00

阅读数 27

评论数 0

YARN/MRv2 Resource Manager深入剖析—AM管理

ApplictionMaster管理部分主要由三个服务构成,分别是AMLivelinessMonitor、ApplicationMasterLauncher和ApplicationMasterService,它们共同管理ApplicationMaster的生存周期,接下来我们依次介绍这三个服务。 ...

2013-10-23 15:12:53

阅读数 528

评论数 0

YARN/MRv2 Resource Manager深入剖析—服务与事件处理器

ResourceManager中的对象均被封装成服务和事件处理器,其中,封装成服务是为了统一管理,而所有事件处理器处理来自中央总调度器分配的事件,总调度器将各个服务发送出来的事件按照事件类型分配给对应的事件处理器,如此循环,构成了ResourceManager的整体架构。 (1)RM中的服务 ...

2013-10-23 15:09:45

阅读数 504

评论数 0

YARN/MRv2 Resource Manager深入剖析—服务与事件处理器

ResourceManager中的对象均被封装成服务和事件处理器,其中,封装成服务是为了统一管理,而所有事件处理器处理来自中央总调度器分配的事件,总调度器将各个服务发送出来的事件按照事件类型分配给对应的事件处理器,如此循环,构成了ResourceManager的整体架构。 (1)RM中的服务 ...

2013-10-23 15:09:00

阅读数 37

评论数 0

YARN/MRv2 Resource Manager深入剖析—用户交互相关模块分析

YARN分别针对普通用户,管理员和Web提供了三种对外服务,分别对应ClientRMService、AdminService和WebApp,本节将对这三个服务分别进行详细介绍。 1.     ClientRMService ClientRMService是为普通用户提供的服务,它会处理来自客户...

2013-10-23 15:08:45

阅读数 551

评论数 0

YARN/MRv2 Resource Manager深入剖析—用户交互相关模块分析

YARN分别针对普通用户,管理员和Web提供了三种对外服务,分别对应ClientRMService、AdminService和WebApp,本节将对这三个服务分别进行详细介绍。 1. ClientRMService ClientRMService是为普通用户提供的服务,它会处理来自客户端各种R...

2013-10-23 15:08:00

阅读数 27

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭