- 博客(8)
- 资源 (3)
- 收藏
- 关注
RSS订阅转载 hadoop读写文件
读文件 读文件时内部工作机制参看下图： 客户端通过调用FileSystem对象（对应于HDFS文件系统，调用DistributedFileSystem对象）的open()方法来打开文件（也即图中的第一步），DistributedFileSystem通过RPC（Remote Procedure Call）调用询问NameNode来得到此文件最开始几个block的文件位置
2013-11-25 18:27:15
667
转载 HBase HBaseServer实现
1. HBaseServer创建后有几个重要的角色. 1.1 Listener deamon线程,负责接收HMaster,HRegionServer,HBase Client的http请求. 1.2 Responder demon线程,负责将处理完的请求,发送回调用者. 1.3 Connection listener接收到的每个Socket请求都会创建一个Connectio
2013-11-25 17:24:10
548
转载 HBase 客户端读取实现
HBase 以客户端角色来调用服务器端的RPC实现 HBase 以客户端角色来调用服务器端的RPC实现 1. HBase的客户端RPC实际上是在Hadoop客户端RPC做的修改,具体的类为: HBase org.apache.hadoop.hbase.ipc.HBaseRPC Hadoop org.apache.hadoop.ipc.RPC 2. 大致流程
2013-11-25 17:04:15
1113
转载 spring mvc工作原理
Spring MVC工作流程图图一图二 Spring工作流程描述 1. 用户向服务器发送请求，请求被Spring 前端控制Servelt DispatcherServlet捕获； 2. DispatcherServlet对请求URL进行解析，得到请求资源标识符（URI）。然后根据
2013-11-21 13:12:58
1795
转载 HBase监控
对于稳定维护hbase，全面掌握分布式系统中的每一台主机状况，以及检测系统可能或正在出现的瓶颈，强大的监控是必须的。 比如： region数、block住的内存大小、请求数、命中率、flush/split/compact次数和时间、读写响应时间分布、storefile数目、jvm状况、 本文介绍将hbase监控加入ganglia中 hbase本身集成了jmx进行
2013-11-13 12:22:29
1242
转载 HBase深入分析之RegionServer
所有的用户数据以及元数据的请求，在经过Region的定位，最终会落在RegionServer上，并由RegionServer实现数据的读写操作。本小节将重点介绍RegionServer的代码结构和功能，从实现细节上深入理解RegionServer对于数据的操作流程。1 RegionServer概述RegionServer是HBase集群运行在每个工作节点上的服务。它是整个HBase
2013-11-12 18:15:55
1348
转载 ZooKeeper实现分布式队列Queue
ZooKeeper是一个分步式的协作系统，何为协作，ZooKeeper价值又有何体现。通过这篇文章的分布式队列的案例，你将了解到ZooKeeper的强大。关于ZooKeeper的基本使用，请参考：ZooKeeper伪分步式集群安装及使用目录分布式队列设计思路程序实现1. 分布式队列队列有很多种产品，大都是消息系统所实现的，像ActiveMQ,JBossMQ,
2013-11-12 17:59:01
795
转载 提升HBase写性能
调整参数入门级的调优可以从调整参数开始。投入小，回报快。1. Write Buffer Size快速配置Java代码 HTable htable = new HTable(config, tablename); htable.setWriteBufferSize(6 * 1024 * 1024); htable.setAutoFlush(false);
2013-11-12 17:57:56
559
Building Service Oriented Architectures (SOA) with the J2EE Platform
2008-03-06
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人