- 博客(17)
- 资源 (2)
- 收藏
- 关注
转载 hadoop HDFS SecondNamenode详解
转载自:http://blog.chinaunix.net/uid-20577907-id-3524135.htmlSecondNamenode名字看起来很象是对第二个Namenode,要么与Namenode一样同时对外提供服务,要么相当于Namenode的HA。真正的了解了SecondNamenode以后,才发现事实并不是这样的。下面这段是Hadoop对SecondNamenod
2014-05-28 14:35:56 2404
原创 Hypetable源码编译和打包
1.源码编译 1.1源码下载首先,创建源码保存目录[jack@localhost ~]$ mkdir -p src获取源码的两种方式1)Hypertable官网(http://www.hypertable.com)下载tar包并解压。cd ~/srctar zxvf/hypertable--src.tar.gz2)从git仓库获取cd ~/srcgit cl
2014-05-27 14:26:18 1090
原创 Hypertable源码解读之数据写入客户端逻辑
数据写入逻辑分为客户端和服务器端,下面jianshu客户端缓存需要写入的cell集合,按其key所属的rangeserver进行区分,即将key落入同一rangeserver的cell分为一组,每组又按照不同的range进行区分。当commit时,隶属不同rangeserver的cell集合将被异步的发送到对应的rangeserver。客户端只有等到所有异步请求的响应之后,才能进行下一轮的写入
2014-05-27 13:48:14 586
原创 Hypertable源码解读之RangeServer启动过程
Main函数中首先创建一个ConnectionManage对象,用于维护与rangeserver通讯的TCP连接。再创建一个默认大小为50的应用程序队列(ApplicationQueue),用于存放针对rangeserver的请求事件。然后连接hyperspace,创建HyperSpace::Session对象。最后用ConnectionManage对象指针、应用程序队列指针和HyperSpace
2014-05-27 13:44:24 781
原创 Hypertable源码解读之Hypertable.RangeServer目录
1.1. Class global维护了rangeserver进程的全局变量.其中有几个队列需要区分:global::maintenance_queue:MaintenanceQueue类指针,表示 rangeserver的后台维护任务队列;global::work_queue:MetaLog::EntityTask类指针数组,表示一组针对rangeserver的metalog ent
2014-05-27 13:42:07 930
原创 Hypertable源码解读之Hypertable.lib目录
1. Class MetaLog:: Entity一个metalog entity能关联到一个应用程序,并能被持久化到metalog中。metalog entity对象能在metalog的读写API中传入和传出。应用程序对象能包含一个继承自该类的成员对象,用于持久化应用程序的专题。应用程序对象也能直接继承该类,这样应用程序对象就可以直接将自己传入到metalog的API了。2. Cl
2014-05-21 14:45:17 660
原创 Hypertable源码解读之AsyncComm目录
该目录下包含了所有异步通信模块的源文件,该模块是整个Hypertable系统的基础,该模块的整体思路如下:工厂类类ReactorFactory中所有成员变量和函数都为静态成员,其初始化时将构造reactor_count个Reactor对象,并将每个对象委托给ReactorRunner对象托管,然后启动一个线程,线程函数即为ReactorRunner函数对象。Reactor对象构造时将创建一
2014-05-21 14:39:12 729
原创 Hypertable工具之random_write_test、random_read_test、ht_write_test、csvalidate
1. random_write_test命令: random_write_test [options] 该命令用于测试hypertable的写入速度。它将产生随机数据插入到表RandomTest中,插入数据的value总长度为total-bytes。RandomTest表必须提前创建于namespace”/”下,并且只有一个名称为Field的CF。产生的row和value都是随机的AS
2014-05-21 14:23:54 2314
原创 Hypertable工具之serverup
命令:serverup [options] 该命令检测指定的服务器上server-name指定的服务是否启动,启动返回true,否则返回false。server-name可为下列之一:dfsbroker, hyperspace, master, global-master, rangeserver, thriftbroker。其中:master特指检测本机上是否运行master服务;globa
2014-05-21 14:14:57 770
原创 Hypertable工具之csdump
命令:csdump [options] 该命令导出位于DFS中指定名称的CellStore文件的内容。Options: -a [ --all ] Dump everything, including key/value pairs -c [ --compact ] Only prints the cellstore name and a status ('ok' or 'c
2014-05-21 14:12:20 733
原创 Hypertable工具之metalog_dump
命令:metalog_dump [options] 该命令可以导出指定的MetaLog文件的内容,也可以导出指定目录下所有MetaLog文件的内容。该命令只能操作MetaLog,不能操作Commit Log,即只能操作mml(适用于master)和rsml(适用于RangeServer)目录或其中的文件。MML(Master的MetaLog)记录了Master维护META数据的过程,例如:
2014-05-21 14:09:57 766
原创 Hypertable工具之dumplog
命令:dumplog [options] 该命令导出指定目录下所有Commit Log文件的元数据(This program dumps the given log's metadata.)。它只能操作Commit Log,而不能操作MetaLog,即只能操作log目录下的root、metadata、system和user子目录。该命令只能对一个Commit Log目录进行操作,不能对单个Co
2014-05-21 14:07:02 897
原创 Hypertable工具之Hyperspace
命令:hyperspace [hyperspace_ip:port]。hyperspace命令可连接至hyperspace,并执行下列命令:mkdir ............. Creates a directory in Hyperspacemkdirs ............ Creates all paths leading upto and includingdirec
2014-05-21 14:04:00 819
原创 Hypertable工具之ht_rsclient
1. ht_rsclient命令:ht_rsclient [rangeserver_ip:port]。Ht_rsclient命令可连接至任意一台RangeServer,并在该台RangeServer上执行下列命令:COMPACT ............... Schedules range compactionsCREATE SCANNER ........ Creates a
2014-05-21 13:59:29 777
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人