- 博客(5)
- 资源 (11)
- 收藏
- 关注
原创 JStorm之Topology提交服务端
topology提交前会先判断集群中是否存在同名作业,如果存在在提交失败,如果没有则会增加集群提交次数SubmittedCount,每次提交成功,该变量都会加1,然后会为该作业分配一个id,生成规则如下:public static String TopologyNameToId(String topologyName, int counter) { return topologyNam
2015-01-16 19:25:43 2297
原创 JStorm之Topology提交客户端
一个topology包含一或多个spout bolt,spout负责在数据源获得数据并发送给bolt,每个bolt负责做完处理后发给下一个bolt。通常topology的创建是由TopologyBuilder来创建的,该组件会记录包含哪些spout bolt,并做相应验证:各组件是否有id冲突,校验方法如下:private void validateUnusedId(String id) {
2015-01-16 15:30:03 1739
原创 JStorm之Supervisor启动流程
Supervisor中文翻译是监督者,意思简单明了,就是对资源进行监控,其实主要是woker资源。该组件所做的事情概括如下: 1、每隔一段时间发送心跳证明自己还活着 2、下载新的topology 3、释放无效的woker 4、分配新的任务 该组件主要包含:心跳线程、supervisor事件接受线程、处理线程,一旦事件接受到则会进入任务分配环节,主要逻辑
2015-01-14 16:18:13 3944
原创 JStorm之NimbusServer启动流程
NimbusServer相当于hadoop里的JobTracker或yarn里的ResourceManager,在集群中属于首脑地位,负责分发任务,监控集群状态,与supervisor的通信主要通过Zookeeper。nimbus在启动过程中会做以下工作,以保证集群稳定运行:1、清理无效topology2、建立zk连接并创建相应znode3、启动监控线程4、启动httpserver
2015-01-13 15:26:57 2597
原创 Docker命令速记
1、启动容器并映射宿主机到容器端口docker run -p 127.0.0.1:20001:22 -ti centos /bin/bash2、daemon方式启动容器docker run -d -p 127.0.0.1:5000:22 -ti centos /bin/bashdocker run -ti -p 0.0.0.0:7600:9600 -p 0.0.0.0
2015-01-09 15:44:23 1160
winutils.exe
2014-03-15
hadoop Join代码(map join 和reduce join)
2013-12-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人