- 博客(5)
- 资源 (9)
- 收藏
- 关注
原创 Storm一个Topology中提供drpc和计算功能
本文主要介绍在storm中如何组件drpc和计算同时存在的多功能Topology编写,如何组件storm复杂的计算结构,包括其中应该注意的一些问题。
2015-04-24 14:17:37 869
原创 关于Zookeeper Watcher使用注意事项
Watcher是Zookeeper中实现的事件通知机制,当发生变动的时候会通知Client,Zookeeper中Client操作注册的Watcher都为一次性Watcher,除去特殊事件类型,事件类型如下: None (-1),NodeCreated (1),NodeDeleted (2), NodeDataChanged (3), NodeChildrenChan
2014-07-18 10:49:05 1509
原创 HDFS(2.2.0)选择DataNode机制
HDFS选择数据节点的方式越来越复杂,也越来越考虑到吞吐量,但是同样存在着一些问题。分配数据节点的所需的参数主要有文件副本数numOfReplicas、writer(客户端所在节点)、excludedNodes(客户端排除的节点)、chosenNodes(已经选择的节点)方法是BlockPlacementPolicyDefault类的DatanodeDescriptor[] c
2014-01-26 16:31:08 2054 1
原创 Hadoop RPC框架解读
1. RPC概述1.1 RPC简介RPC(Remote Procedure Call Protocol)——远程过程调用协议,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在,如TCP或UDP,为通信程序之间携带信息数据。在OSI网络通信模型中,RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更
2014-01-14 16:52:00 3634
原创 解密高并发支持
通过讲述Java Thread、Erlang process、Golang goroutine的详细机制阐述并发的秘密,解密Erlang和Golang的高并发支持。 Erlang和Golang都提供并发支持,能够支持几万甚至几十万的并发,但是Java或是C/C++在线程达到几千的时候,CPU性能就开始明显的下降,所以在并发度上来看,Java或是C/C++相对于Erlang、Gola
2014-01-10 16:05:36 1656 2
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人