Hadoop In Deep
文章平均质量分 78
foreach_break
专注web、分布式、数据库、数据处理。
展开
-
【Hadoop】RpcServer 线程模型
RpcServer 线程模型 NameNode启动过程:线程模型 Listener 1个: 监听并接受来自客户端的连接.将新建连接放入pendingConnections. 清理空闲连接. 唤醒Reader. Reader N个 : 从pendingConnections中获取连接,读取数据,从RpcRequest构造Call,并放入callQueue.Handler N 个: 从callQueue原创 2015-05-07 01:01:37 · 1016 阅读 · 0 评论 -
高性能server分析 - Hadoop的RpcServer
一、ListenerListener线程,当Server处于运行状态时,其负责监听来自客户端的连接,并使用Select模式处理Accept事件。同时,它开启了一个空闲连接(Idle Connection)处理例程,如果有过期的空闲连接,就关闭。这个例程通过一个计时器来实现。当select操作调用时,它可能会阻塞,这给了其它线程执行的机会。当有accept事件发生,它就会被唤醒以处理全部的事件,处理事原创 2015-05-05 01:06:36 · 1819 阅读 · 0 评论 -
【Hadoop】HDFS - 创建文件流程详解
1.本文目的通过解析客户端创建文件流程,认知hadoop的HDFS系统的一些功能和概念。2.主要概念2.1 NameNode(NN):HDFS系统核心组件,负责分布式文件系统的名字空间管理、INode表的文件映射管理。如果不开启备份/故障恢复/Feneration模式,一般的HDFS系统就只有1个NameNode,当然这样是存在单点故障隐患的。NN管理两个核心的表:文件到块序列的映射、块到机器序列的原创 2015-05-08 03:07:51 · 3699 阅读 · 0 评论 -
【HBase】how many zookeepers should i run?
How many ZooKeepers should I run?You can run a ZooKeeper ensemble that comprises 1 node only but in production it is recommended that you run a ZooKeeper ensemble of 3, 5 or 7 machines; the more member原创 2015-05-17 23:51:36 · 811 阅读 · 0 评论