- 博客(6)
- 收藏
- 关注
RSS订阅原创 hadoop之yarn Protocol Buffers
我学习使用的hadoop源码是2.2版本，里面有一个相关Protocol Buffers的Jar包叫protobuf-java-2.5.0.jar。 使用protobuf生成的java类会import protobuf-java-2.5.0.jar中的类。所以Jar包的版本和protoc.exe版本必须一致。 可以去https://github.com/google/protobuf/rele
2015-10-07 21:15:01
593
原创 hadoop之yarn状态机模型
状态机一般和事件驱动结合在一起用的，我们继续上一篇的例子。 1.定时task的任务状态 package com.eg2; public enum TaskStateInternal { RUN, END } 2.定义状态机 package com.eg2; import java.util.concurrent.locks.Lock; import java.util.concur
2015-10-07 17:45:30
1078
原创 hadoop之yarn事件驱动模型
YRAN编程有很多地方采用了事件驱动模型，把代码简化，方便理解它。 1.定义一个事件： import org.apache.hadoop.yarn.event.AbstractEvent; public class TaskEvent extends AbstractEvent { private String taskID; public TaskEvent(Strin
2015-10-06 18:30:57
835
原创 Java之也谈sleep()和wait()
讨论sleep()和wait()的很多文章流传蛮广，甚至有些都是错误的。那我我也谈谈自己的观点。 首先sleep()，直接看官方文档 Causes the currently executing thread to sleep (temporarily cease execution) for the specified number of milliseconds, subject to t
2015-10-05 20:17:26
234
原创 工作总结数据库集群
我使用数据库集群的时间并不算太长，我尽量将自己的一些感悟和心得总结下来。 首先数据库集群解决TB级的数据量就不得了，上了PB级，理论上还是nosql更好。基于postgres常用的集群解决方案有以下几种 postgres-xc，postgres-xl，pl/proxy,greenplum和postgres-x2 postgres-xc：浙江移动在用，貌似bug有不少，据传把postgres-xc
2015-10-05 18:10:05
443
原创 工作总结概述
本文档主要从我工作中涉及的4个方向(文件解析，数据库，R和Hadoop)入手。主要记录一些，别人不容易发现的问题。google能简单检索出解决方案的问题，我就不多累述，并没有太多意义。 ==========================================================================================================
2015-10-05 18:00:41
803
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人