- 博客(5)
- 资源 (10)
- 收藏
- 关注
RSS订阅原创 基于NIO的长连接的实现已开放到github
长连接相对于短链接来讲，可以减少连接的建立和释放的开销，进而提高通信的效率，而长连接最大的问题是对于连接池中连接的维护。
2014-01-20 00:19:04
15945
2
原创 Yarn设计原理分析之NodeManager
1、 和其他模块之间的交互接口分析1)作为client，NodeStatusUpdater通过ResourceTracker协议和RM进行交互(NMàRM)。该API有两个方法向RM注册NodeManager，参数为httpPort、nodeId、totalResource，其中totalResource为节点的总可分配资源，包括CPU、内存。向RM心跳，NM启动后通过定期的向RM汇报Conta
2014-01-08 20:58:51
8555
原创 滑动窗口在storm中的实现
滑动窗口监控和统计应用的场景比较广泛，比如每隔一段时间(10s)统计最近30s的请求量或者异常次数，根据请求或者异常次数采取相应措施；这里说一下滑动窗口在storm中实现的原理。参见下图：窗口大小为30s，每10s就统计一次，那么窗口一共有3个slot，可以对窗口建立长度为3的数组；在storm的blot中在10s内通过execute(tuple)功能不停的把接收的tuple进行count个数(假
2014-01-04 22:07:56
16544
3
原创 Storm在批处理和事务方面的机制分析
1、storm事务性topology的提出对于容错机制，Storm通过一个系统级别的组件acker，结合xor校验机制判断一个msg是否发送成功，进而spout可以重发该msg，保证一个msg在出错的情况下至少被重发一次。但是在一些事务性要求比较高的场景中，需要保障一次只有一次的语义，比如需要精确统计tuple的数量等等。Storm 0.7.0引入了Transactional Topology,
2014-01-04 17:06:41
14438
1
TCP.IP.Sockets.in.Java.2nd.Edition
2010-04-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人